灵魂守卫

存档

作者存档

nginx进程管理-signaller进程

2020年5月25日 admin 评论已被关闭

nginx控制进程用来控制master进程，我们知道nginx有四种类型：

位于：src/os/unix/ngx_process_cycle.h

#define NGX_PROCESS_MASTER     1
#define NGX_PROCESS_SIGNALLER  2
#define NGX_PROCESS_WORKER     3
#define NGX_PROCESS_HELPER     4

#define NGX_PROCESS_MASTER 1

#define NGX_PROCESS_SIGNALLER 2

#define NGX_PROCESS_WORKER 3

#define NGX_PROCESS_HELPER 4

当我们要对nginx升级、重启、切割等待日志时，这是nginx的角色为NGX_PROCESS_SIGNALLER

int ngx_cdecl
main(int argc, char *const *argv)
{
    ....
    if (ngx_get_options(argc, argv) != NGX_OK) {
        return 1;
    }
    ....
    cycle = ngx_init_cycle(&init_cycle);
    ...
    if (ngx_signal) {
        return ngx_signal_process(cycle, ngx_signal);
    }
}

static ngx_int_t
ngx_get_options(int argc, char *const *argv)
{
    ...
    for (i = 1; i < argc; i++) {
        ...
        while (*p) {
            switch (*p++) {
            ...
            case 's':
                if (*p) {
                    ngx_signal = (char *) p;
                } else if (argv[++i]) {
                    ngx_signal = argv[i];
                } else {
                    ngx_log_stderr(0, "option \"-s\" requires parameter");
                    return NGX_ERROR;
                }

                if (ngx_strcmp(ngx_signal, "stop") == 0
                    || ngx_strcmp(ngx_signal, "quit") == 0
                    || ngx_strcmp(ngx_signal, "reopen") == 0
                    || ngx_strcmp(ngx_signal, "reload") == 0)
                {
                    ngx_process = NGX_PROCESS_SIGNALLER;
                    goto next;
                }
                ngx_log_stderr(0, "invalid option: \"-s %s\"", ngx_signal);
                return NGX_ERROR;
                ...
        }
    }
    ...
    return NGX_OK;
}

int ngx_cdecl

main(int argc, char *const *argv)

{

....

if (ngx_get_options(argc, argv) != NGX_OK) {

return 1;

}

....

cycle = ngx_init_cycle(&init_cycle);

...

if (ngx_signal) {

return ngx_signal_process(cycle, ngx_signal);

}

static ngx_int_t

ngx_get_options(int argc, char *const *argv)

{

...

for (i = 1; i < argc; i++) {

...

while (*p) {

switch (*p++) {

...

case 's':

if (*p) {

ngx_signal = (char *) p;

} else if (argv[++i]) {

ngx_signal = argv[i];

} else {

ngx_log_stderr(0, "option \"-s\" requires parameter");

return NGX_ERROR;

}

if (ngx_strcmp(ngx_signal, "stop") == 0

|| ngx_strcmp(ngx_signal, "quit") == 0

|| ngx_strcmp(ngx_signal, "reopen") == 0

|| ngx_strcmp(ngx_signal, "reload") == 0)

{

ngx_process = NGX_PROCESS_SIGNALLER;

goto next;

}

ngx_log_stderr(0, "invalid option: \"-s %s\"", ngx_signal);

return NGX_ERROR;

...

}

...

return NGX_OK;

}

也就是说在我们使用nginx -s 信号时这时启动的nginx属于NGX_PROCESS_SIGNALLER类型了，做为signaller的nginx它的作用是对master的管理，信号类型存储在ngx_signal这个变量里，它的用法是这样的：

nginx -sXXX  或者 nginx -s XXX

XXX可选为：
stop, 立即退出
quit, 平滑退出
reopen, 重新打开所有文件
reload, 重新加载配置

nginx -sXXX 或者 nginx -s XXX

XXX可选为：

stop, 立即退出

quit, 平滑退出

reopen, 重新打开所有文件

reload, 重新加载配置

当程序启动时我们指定了合法的-s参数时,ngx_process被设置成了NGX_PROCESS_SIGNALLER，接下来的初始化函数ngx_init_cycle中，识别了NGX_PROCESS_SIGNALLER这个类型会把创建pid，创建文件，打开端口等等这些全部忽略，只调用了解析配置和各个模块的初始化配置的回调函数，所以我们在写core模块时一定要注意不要在ini_conf回调函数打开资源。

ngx_cycle_t *
ngx_init_cycle(ngx_cycle_t *old_cycle)
{
    .... 
    for (i = 0; cycle->modules[i]; i++) {
        if (cycle->modules[i]->type != NGX_CORE_MODULE) {
            continue;
        }
        ...
        if (module->create_conf) {
            rv = module->create_conf(cycle);
            if (rv == NULL) {
                ngx_destroy_pool(pool);
                return NULL;
            }
            cycle->conf_ctx[cycle->modules[i]->index] = rv;
        }
    }
    ....
    if (ngx_conf_parse(&conf, &cycle->conf_file) != NGX_CONF_OK) {
        ...
    }
    ...
    for (i = 0; cycle->modules[i]; i++) {
        if (cycle->modules[i]->type != NGX_CORE_MODULE) {
            continue;
        }
        module = cycle->modules[i]->ctx;
        if (module->init_conf) {
            if (module->init_conf(cycle,
                                  cycle->conf_ctx[cycle->modules[i]->index])
                == NGX_CONF_ERROR)
            {
                ...
            }
        }
    }
    if (ngx_process == NGX_PROCESS_SIGNALLER) { /*signaller process*/
        return cycle;
    }
    ...
    if (ngx_test_lockfile(cycle->lock_file.data, log) != NGX_OK) {
        goto failed;
    }
    if (ngx_create_paths(cycle, ccf->user) != NGX_OK) {
        goto failed;
    }
    if (ngx_log_open_default(cycle) != NGX_OK) {
        goto failed;
    }
    /* open the new files */
    ...
    /* create shared memory */
    ...
    /* handle the listening sockets */
    ...
}

ngx_cycle_t *

ngx_init_cycle(ngx_cycle_t *old_cycle)

{

....

for (i = 0; cycle->modules[i]; i++) {

if (cycle->modules[i]->type != NGX_CORE_MODULE) {

continue;

}

...

if (module->create_conf) {

rv = module->create_conf(cycle);

if (rv == NULL) {

ngx_destroy_pool(pool);

return NULL;

}

cycle->conf_ctx[cycle->modules[i]->index] = rv;

}

....

if (ngx_conf_parse(&conf, &cycle->conf_file) != NGX_CONF_OK) {

...

}

...

for (i = 0; cycle->modules[i]; i++) {

if (cycle->modules[i]->type != NGX_CORE_MODULE) {

continue;

}

module = cycle->modules[i]->ctx;

if (module->init_conf) {

if (module->init_conf(cycle,

cycle->conf_ctx[cycle->modules[i]->index])

== NGX_CONF_ERROR)

{

...

}

if (ngx_process == NGX_PROCESS_SIGNALLER) { /*signaller process*/

return cycle;

}

...

if (ngx_test_lockfile(cycle->lock_file.data, log) != NGX_OK) {

goto failed;

}

if (ngx_create_paths(cycle, ccf->user) != NGX_OK) {

goto failed;

}

if (ngx_log_open_default(cycle) != NGX_OK) {

goto failed;

}

/* open the new files */

...

/* create shared memory */

...

/* handle the listening sockets */

...

}

我们可以看到在初始化时如果是信号进程会跳过一些系申请统资源之类的操作，同时也会初始化最外层的core模块的配置。在所有配置解析并初始化完成后，信号进程开始给master发送指令了，这过程就是读取配置后的pid文件里的进程ID，然后通过进程ID给master进行发送信号了。

ngx_int_t
ngx_signal_process(ngx_cycle_t *cycle, char *sig)
{
    ...
    file.name = ccf->pid;
    file.log = cycle->log;
    file.fd = ngx_open_file(file.name.data, NGX_FILE_RDONLY,
                            NGX_FILE_OPEN, NGX_FILE_DEFAULT_ACCESS);                       
    ...
    n = ngx_read_file(&file, buf, NGX_INT64_LEN + 2, 0);
    ...
    while (n-- && (buf[n] == CR || buf[n] == LF)) { /* void */ }
    pid = ngx_atoi(buf, ++n);
    ...
    return ngx_os_signal_process(cycle, sig, pid);
}

ngx_int_t
ngx_os_signal_process(ngx_cycle_t *cycle, char *name, ngx_pid_t pid)
{
    ...
    for (sig = signals; sig->signo != 0; sig++) {
        if (ngx_strcmp(name, sig->name) == 0) {
            if (kill(pid, sig->signo) != -1) {
                return 0;
            }
            ..
        }
    }
    return 1;
}

ngx_signal_t  signals[] = {
    { ngx_signal_value(NGX_RECONFIGURE_SIGNAL),
      "SIG" ngx_value(NGX_RECONFIGURE_SIGNAL),/*SIGHUP*/
      "reload",
      ngx_signal_handler },

    { ngx_signal_value(NGX_REOPEN_SIGNAL),
      "SIG" ngx_value(NGX_REOPEN_SIGNAL),/*SIGUSR1*/
      "reopen",
      ngx_signal_handler },
     ... 
    { ngx_signal_value(NGX_TERMINATE_SIGNAL),/*SIGTERM*/
      "SIG" ngx_value(NGX_TERMINATE_SIGNAL),
      "stop",
      ngx_signal_handler },

    { ngx_signal_value(NGX_SHUTDOWN_SIGNAL),/*SIGQUIT*/
      "SIG" ngx_value(NGX_SHUTDOWN_SIGNAL),
      "quit",
      ngx_signal_handler },
      ...
};

#define NGX_SHUTDOWN_SIGNAL      QUIT
#define NGX_TERMINATE_SIGNAL     TERM
#define NGX_NOACCEPT_SIGNAL      WINCH
#define NGX_RECONFIGURE_SIGNAL   HUP
#define NGX_REOPEN_SIGNAL        USR1
#define NGX_CHANGEBIN_SIGNAL     USR2

ngx_int_t

ngx_signal_process(ngx_cycle_t *cycle, char *sig)

{

...

file.name = ccf->pid;

file.log = cycle->log;

file.fd = ngx_open_file(file.name.data, NGX_FILE_RDONLY,

NGX_FILE_OPEN, NGX_FILE_DEFAULT_ACCESS);

...

n = ngx_read_file(&file, buf, NGX_INT64_LEN + 2, 0);

...

while (n-- && (buf[n] == CR || buf[n] == LF)) { /* void */ }

pid = ngx_atoi(buf, ++n);

...

return ngx_os_signal_process(cycle, sig, pid);

}

ngx_int_t

ngx_os_signal_process(ngx_cycle_t *cycle, char *name, ngx_pid_t pid)

{

...

for (sig = signals; sig->signo != 0; sig++) {

if (ngx_strcmp(name, sig->name) == 0) {

if (kill(pid, sig->signo) != -1) {

return 0;

}

return 1;

}

ngx_signal_t signals[] = {

{ ngx_signal_value(NGX_RECONFIGURE_SIGNAL),

"SIG" ngx_value(NGX_RECONFIGURE_SIGNAL),/*SIGHUP*/

"reload",

ngx_signal_handler },

{ ngx_signal_value(NGX_REOPEN_SIGNAL),

"SIG" ngx_value(NGX_REOPEN_SIGNAL),/*SIGUSR1*/

"reopen",

ngx_signal_handler },

...

{ ngx_signal_value(NGX_TERMINATE_SIGNAL),/*SIGTERM*/

"SIG" ngx_value(NGX_TERMINATE_SIGNAL),

"stop",

ngx_signal_handler },

{ ngx_signal_value(NGX_SHUTDOWN_SIGNAL),/*SIGQUIT*/

"SIG" ngx_value(NGX_SHUTDOWN_SIGNAL),

"quit",

ngx_signal_handler },

...

};

#define NGX_SHUTDOWN_SIGNAL QUIT

#define NGX_TERMINATE_SIGNAL TERM

#define NGX_NOACCEPT_SIGNAL WINCH

#define NGX_RECONFIGURE_SIGNAL HUP

#define NGX_REOPEN_SIGNAL USR1

#define NGX_CHANGEBIN_SIGNAL USR2

如果只是发送信号，从代码里了解到下面是等价的：（假设master的进程号是12345）

nginx -s stop   <=>   kill -term 12345
nginx -s quit   <=>   kill -quit 12345
nginx -s reopen <=>   kill -usr1 12345
nginx -s reload <=>   kill -hup 12345

nginx -s stop <=> kill -term 12345

nginx -s quit <=> kill -quit 12345

nginx -s reopen <=> kill -usr1 12345

nginx -s reload <=> kill -hup 12345

至于为什么要用这些信号呢或者大家可以思考一下，这两种方法的利弊在什么地方。

分类: C/C++, Linux, Nginx 标签:

使用chroimum QUIC构建QUIC客户端程序

2020年4月22日 admin 评论已被关闭

我将QUIC异步使用的方法整理了一下：

//下面是要用到的一个变量的声明：
QuicConnection *conn;
QuicTransportClientSession *session;
QuicTransportStream *stream;
QuicChromiumPacketWriter* writer;

//传输会话回调, 会话回调, 流回调
QuicTransportClientSession::ClientVisitor* cv; //OnCanRead, OnFinRead, OnCanWrite
QuicSession::Visitor* sev; //OnConnectionClosed, OnWriteBlocked, OnRstStreamReceived, OnStopSendingReceived
QuicTransportStream::Visitor *sv; // OnCanRead,OnFinRead,OnCanWrite

QuicChromiumPacketReader* reader;
QuicChromiumPacketReader::Visitor *rv;//OnReadError,OnPacket

base::Thread *thread;
SingleThreadTaskRunner *runner;

//下面是要用到的一个变量的声明：

QuicConnection *conn;

QuicTransportClientSession *session;

QuicTransportStream *stream;

QuicChromiumPacketWriter* writer;

//传输会话回调, 会话回调, 流回调

QuicTransportClientSession::ClientVisitor* cv; //OnCanRead, OnFinRead, OnCanWrite

QuicSession::Visitor* sev; //OnConnectionClosed, OnWriteBlocked, OnRstStreamReceived, OnStopSendingReceived

QuicTransportStream::Visitor *sv; // OnCanRead,OnFinRead,OnCanWrite

QuicChromiumPacketReader* reader;

QuicChromiumPacketReader::Visitor *rv;//OnReadError,OnPacket

base::Thread *thread;

SingleThreadTaskRunner *runner;

第一步： SOCKET连接

DatagramClientSocket socket;
socket->UseNonBlockingIO();
socket->Connect(dest);

DatagramClientSocket socket;

socket->UseNonBlockingIO();

socket->Connect(dest);

第二步：设置SOCKET读写包处理器

//设置SOCKET缓冲区
socket->SetReceiveBufferSize();
socket->SetDoNotFragment();
socket->SetSendBufferSize();

//设置socket写(序列化)
writer = new QuicChromiumPacketWriter(socket);
conn = new QuicConnection(dest, writer);

//设置socket读(反序列化)
reader = new QuicChromiumPacketReader(socket, rv);
reader->startReading();

//设置SOCKET缓冲区

socket->SetReceiveBufferSize();

socket->SetDoNotFragment();

socket->SetSendBufferSize();

//设置socket写(序列化)

writer = new QuicChromiumPacketWriter(socket);

conn = new QuicConnection(dest, writer);

//设置socket读(反序列化)

reader = new QuicChromiumPacketReader(socket, rv);

reader->startReading();

第三步：创建QUIC会话并握手连接

//初始化会话, 会话回调和数据回调
session = new QuicTransportClientSession(conn, socket, sev, cv);
session_->Initialize();

//会话连结
session_->CryptoConnect();

//注意异步: 连接成功后cv的OnSessionReady会被调用
QuicTransportClientSession::ClientVisitor::OnSessionReady() {
    stream = session->OpenOutgoingBidirectionalStream();
    stream->setVisitor(v); //设置stream回调
}

//初始化会话, 会话回调和数据回调

session = new QuicTransportClientSession(conn, socket, sev, cv);

session_->Initialize();

//会话连结

session_->CryptoConnect();

//注意异步: 连接成功后cv的OnSessionReady会被调用

QuicTransportClientSession::ClientVisitor::OnSessionReady() {

stream = session->OpenOutgoingBidirectionalStream();

stream->setVisitor(v); //设置stream回调

}

第四步: 实现相关回调

//stream上有可读消息
QuicTransportStream::Visitor::OnCanRead()
{
    while(true) {
        n = stream->Read(buffer);
        if (n <= 0) {
            break;
        }
    }
}

//stream上有FIN消息
QuicTransportStream::Visitor::OnFinRead()
{
}

//stream上可写
QuicTransportStream::Visitor::OnCanWrite()
{
}

//session关闭的回调
QuicSession::Visitor::OnConnectionClosed()
{
}

//session写阻塞回调
QuicSession::Visitor::OnWriteBlocked()
{
}

//session被重置
QuicSession::Visitor::OnRstStreamReceived()
{
    conn->CloseConnection();
}

//session停止发送回调
QuicSession::Visitor::OnStopSendingReceived()
{
}

//writer上reader回调
//QuicChromiumPacketReader::Visitor
QuicChromiumPacketReader::Visitor::OnReadError()
{
    conn->CloseConnection();
}

//有Packet到来
QuicChromiumPacketReader::Visitor::OnPacket()
{
    conn->ProcessUdpPacket();
}

//stream上有可读消息

QuicTransportStream::Visitor::OnCanRead()

{

while(true) {

n = stream->Read(buffer);

if (n <= 0) {

break;

}

//stream上有FIN消息

QuicTransportStream::Visitor::OnFinRead()

{

}

//stream上可写

QuicTransportStream::Visitor::OnCanWrite()

{

}

//session关闭的回调

QuicSession::Visitor::OnConnectionClosed()

{

}

//session写阻塞回调

QuicSession::Visitor::OnWriteBlocked()

{

}

//session被重置

QuicSession::Visitor::OnRstStreamReceived()

{

conn->CloseConnection();

}

//session停止发送回调

QuicSession::Visitor::OnStopSendingReceived()

{

}

//writer上reader回调

//QuicChromiumPacketReader::Visitor

QuicChromiumPacketReader::Visitor::OnReadError()

{

conn->CloseConnection();

}

//有Packet到来

QuicChromiumPacketReader::Visitor::OnPacket()

{

conn->ProcessUdpPacket();

}

第五步：开启一个线程进行异步操作

thread = new base::Thread();
thread->StartWithOptions();
runner = thread->task_runner();

thread = new base::Thread();

thread->StartWithOptions();

runner = thread->task_runner();

第六步：设计API

//创建连接
raw_quic_create(url, verify)
{
    //
}

//连接
raw_quic_connect(timeout)
{
    runner->PostTask(
        {
            do_connect(timeout);
        }
    );
    return size;
}


//发送
raw_quic_send(buffer, size)
{
    buf = alloc_copy(buffer, size);
    runner->PostTask(
        {
            append(buf, size);
            do_send();
        }
    );
    return size;
}


//接收
raw_quic_recv(buffer, size, timeout)
{
    runner->PostTask(
        {
            do_recv(buffer, size, timeout);
        }
    );
}

//关闭
raw_quic_close()
{
    runner->PostTask(
        {
            do_close();
        }
    );
    return size;
}

//创建连接

raw_quic_create(url, verify)

{

}

//连接

raw_quic_connect(timeout)

{

runner->PostTask(

{

do_connect(timeout);

}

);

return size;

}

//发送

raw_quic_send(buffer, size)

{

buf = alloc_copy(buffer, size);

runner->PostTask(

{

append(buf, size);

do_send();

}

);

return size;

}

//接收

raw_quic_recv(buffer, size, timeout)

{

runner->PostTask(

{

do_recv(buffer, size, timeout);

}

);

}

//关闭

raw_quic_close()

{

runner->PostTask(

{

do_close();

}

);

return size;

}

有不对的地方欢迎大家指正:nie950 at gmail dot net

分类: C/C++ 标签:

使用Visual Studio2015调试云主机PHP代码

2017年4月23日 admin 评论已被关闭

以下要用到的所有软件都可以在下面的地址(仅办公网访问)下载得到。

http://xesoa.com/app/vs2015

http://xesoa.com/app/ssh

调试流程

安装visual studio 2015

下载并安装：http://xesoa.com/app/vs2015/vs2015.pro_chs.iso

步骤略

安装1.23.9750

下载并安装：http://xesoa.com/app/vs2015/va_x_2073_setup.zip

步骤略

配置云主机

3.1配置xdebug

3.2 php.ini配置如下

配置ssh（以exe为例）

这里要做一个说明：如果在云主机上开发，因为云主机是无法连接到办公区域的。所以要做一下隧道转发。对ssh感兴趣的可以参考：http://www.ietf.org/rfc/rfc4251.txt

如果对转发原理不感兴趣可直接跳到操作步骤。

ssh转发包括两个正向转发和反向转发，动态转发（略）。

正向转发例子:

ssh -fNL *:9000:www.163.com:80 -p 22 admin@ssh.xesoa.com

1	ssh -fNL *:9000:www.163.com:80 -p 22 admin@ssh.xesoa.com

凡是发往本机9000端口的都能过ssh.xesoa.com主机的22端口转发给www.163.com:80，这就实现了一个简单的正向代理请求。注意：localhost在本机解析，www.163.com在ssh.xesoa.com上解析。

反向转发的例子：

ssh -fNR *:11011:10.99.1.11:22 admin@ssh.xesoa.com -p 10026

1	ssh -fNR *:11011:10.99.1.11:22 admin@ssh.xesoa.com -p 10026

凡是到达ssh.xesoa.com主机端口11011的数据都通过ssh.xesoa.com的10026端口转发到主机是10.99.1.11的22端口上。注意：*代表主机ssh.xesoa.com上的任意IP地址。

因为云主机（10.99.1.124）无法连接上办公区域（172.88.1.126），所以无法正向发给办公区域，所以可以在通过反向转发在172.88.1.126上运行：

ssh -fNR *:9000:localhost:9000 admin@10.99.1.124 -p 22

1	ssh -fNR *:9000:localhost:9000 admin@10.99.1.124 -p 22

所有到达10.99.1.124的9000端口的数据都通10.99.1.124的22端口转发到172.88.1.126的9000端口上。调试过程变成下面过程：

操作步骤：

4.1下载plink, windows下ssh的一个实现。

http://xesoa.com/app/ssh/putty/plink.exe

4.2 在cmd里执行

plink.exe –N –R *:9000:localhost:9000 root@xesoa.com –pw 123456

1	plink.exe –N –R *:9000:localhost:9000 root@xesoa.com –pw 123456

正常连接到远程云主机可以看一下，出现9000端口表示转发绑定成功。

（备注可以把它做成一个开机启动项。）

配置vs2015

在这里要说明的是：所有的代码操作（svn提交下载）都在本地，不应该在云主机修改php，所有在本地的修改应该即时的同步到云主机上。

新建php工程

设置云主机同步目录。项目->属性

Site path是指网站的根目录，每次调试会将本地同步到该目录。

点击publish发布到云主机上。

发布代码

在你修改的文件上右键publish就可以将修改推送到云主机上。

设置断点

在你需要的地方，设置断点，使用F9。

开始调试

按下F5就可以开始调试，如果运行到断点，程序会自己停下来检查。

在浏览器或者postman就可以调试我们的代码，大致窗口如下。

快捷键:

F9设置/取消断点

F10下一步

F11进行函数

F12 转到函数定义

Shift+F9，查看变量值

Ctrl+F5停止运行和调试

分类: 翻译标签:

Nginx使用instance标记处理kqueue/epoll中的stale事件

2015年8月28日 admin 评论已被关闭

下面以epoll为例：

每个fd往往会关联一个自定义的结构体来表示逻辑上的连接。比如在nginx中每个ngx_connection_t都抽象成一个TCP连接并且与fd关联。

当我们accept到一个连接的时候，我们会申请这样一个ngx_connection_t,随后将这个fd与ngx_connection_t关联并加入到epoll循环。

代码(添加读事件)

ngx_connection_t     *c;
struct epoll_event   ee;

fd = accept(…);
c = ngx_get_connection(fd,…);

ee.events = EPOLLIN;
ee.data.ptr = (void *) ((uintptr_t) c | c->read->instance);

epoll_ctl(ep, EPOLL_CTL_ADD, c->fd, &ee)

ngx_connection_t *c;

struct epoll_event ee;

fd = accept(…);

c = ngx_get_connection(fd,…);

ee.events = EPOLLIN;

ee.data.ptr = (void *) ((uintptr_t) c | c->read->instance);

epoll_ctl(ep, EPOLL_CTL_ADD, c->fd, &ee)

然后我们使用epoll_wait来检查发生的事件

struct epoll_event   event_list[1024];

/*轮循*/
n = epoll_wait(ep, event_list, 1024, NULL);

/*检查发生事件*/

for (i = 0;i < n; i++) {
    c = event_list[i].data.ptr;

    instance = (uintptr_t) c & 1;
    c = (ngx_connection_t *) ((uintptr_t) c & (uintptr_t) ~1);

    /*以读事件为例*/
    r = c->read;
    if (c->fd == -1 || r->instance != instance) {
        continue;/*NOTE!*/
    }

    /*other code*/

}

struct epoll_event event_list[1024];

/*轮循*/

n = epoll_wait(ep, event_list, 1024, NULL);

/*检查发生事件*/

for (i = 0;i < n; i++) {

c = event_list[i].data.ptr;

instance = (uintptr_t) c & 1;

c = (ngx_connection_t *) ((uintptr_t) c & (uintptr_t) ~1);

/*以读事件为例*/

r = c->read;

if (c->fd == -1 || r->instance != instance) {

continue;/*NOTE!*/

}

/*other code*/

}

每个epoll_event的data.ptr是由ngx_connection_t*指针与instance相或而来，也就是data.ptr = c | instance;这样做是有前提条件的，那就是c必须是偶数，因为instance是bool类型，data.ptr最末位存储了instance的值。

假设当某一次epoll_wait后返回了一组epoll_event。

随后进行了如下操作：如图1所示：

(1)fd=47的文件描述有事件发生。

(2)处理fd=47时，我们关闭了fd=12的连接，回收了ngx_connection_t内存。

(3)接着处理fd=12时，此时data_ptr指向的ngx_connection_t已经被销毁，访问data_ptr将出现致命错误。

解决方法（如图2所示）：暂不回收ngx_connection_t内存而是将ngx_connection_t的fd设置为-1，那么处理fd=12时，发现ngx_connection_t中的fd=-1，那么足以证明这个fd在之前已经被释放掉了，从面阻止使用data_ptr继续使用，这就是stale事件。

当我们将fd=12的ngx_connection_t回收后将fd设成了-1，防止处理到fd=12时使用了被释放的data_ptr。

试想一下，此时将fd设置成了-1，但在处理fd=12前，我将刚才释放的ngx_connection_t重新分配给了新连接fd=48（调用了accept()），那么在处理fd=12时，其data_ptr仍然不能使用，因这个ngx_connection_t已不属于fd=12而是属于fd=48，也就是说fd=12的ngx_connection_t已被释放并被fd=48使用。

我们使用instance来区分这个ngx_connection_t到底属于谁。因为本身data_ptr中存储了instance值，并且ngx_connection_t中也存储了instance值，在申请ngx_connection_t时，我们要将ngx_connection_t中的instance值置反。当ngx_connection_t的instance与data_ptr不一致时，说明当前fd已销毁。（如图3所示）

注意：

另外，有一点要说明的是，如果在处理fd=12之前，fd=48也被销毁了，然后该ngx_connection_t又被fd=49复用，那么这种情况仍然会有问题。

这会导致data_ptr中的instance值与ngx_connection_t一致（两次置反）并且fd=49。event_list原本指示的fd=12有事件，但被nginx错误地认为了fd=49有事件发生，目前我还没想到好的解决办法。

分类: C/C++, Linux, Nginx 标签:

nginx的模块上下文

2015年4月26日 admin 评论已被关闭

ngx_modules数组定义：

ngx_module_t *ngx_modules[] = {
    &ngx_core_module,
    &ngx_errlog_module,
    &ngx_conf_module,
    &ngx_events_module,
    &ngx_event_core_module,
    &ngx_iocp_module,
    &ngx_select_module,
    &ngx_regex_module,
    &ngx_http_module,
    &ngx_http_core_module,
    &ngx_http_log_module,
    &ngx_http_upstream_module,
    &ngx_http_static_module,
    &ngx_http_autoindex_module,
    &ngx_http_index_module,
    &ngx_http_auth_basic_module,
    &ngx_http_access_module,
    &ngx_http_limit_conn_module,
    &ngx_http_limit_req_module,
    &ngx_http_geo_module,
    &ngx_http_map_module,
    &ngx_http_split_clients_module,
    &ngx_http_referer_module,
    &ngx_http_rewrite_module,
    &ngx_http_proxy_module,
    &ngx_http_fastcgi_module,
    &ngx_http_uwsgi_module,
    &ngx_http_scgi_module,
    &ngx_http_memcached_module,
    &ngx_http_empty_gif_module,
    &ngx_http_browser_module,
    &ngx_http_upstream_ip_hash_module,
    &ngx_http_upstream_least_conn_module,
    &ngx_http_upstream_keepalive_module,
    &ngx_http_write_filter_module,
    &ngx_http_header_filter_module,
    &ngx_http_chunked_filter_module,
    &ngx_http_range_header_filter_module,
    &ngx_http_gzip_filter_module,
    &ngx_http_postpone_filter_module,
    &ngx_http_ssi_filter_module,
    &ngx_http_charset_filter_module,
    &ngx_http_userid_filter_module,
    &ngx_http_headers_filter_module,
    &ngx_http_copy_filter_module,
    &ngx_http_range_body_filter_module,
    &ngx_http_not_modified_filter_module,
    NULL
};

ngx_module_t *ngx_modules[] = {

&ngx_core_module,

&ngx_errlog_module,

&ngx_conf_module,

&ngx_events_module,

&ngx_event_core_module,

&ngx_iocp_module,

&ngx_select_module,

&ngx_regex_module,

&ngx_http_module,

&ngx_http_core_module,

&ngx_http_log_module,

&ngx_http_upstream_module,

&ngx_http_static_module,

&ngx_http_autoindex_module,

&ngx_http_index_module,

&ngx_http_auth_basic_module,

&ngx_http_access_module,

&ngx_http_limit_conn_module,

&ngx_http_limit_req_module,

&ngx_http_geo_module,

&ngx_http_map_module,

&ngx_http_split_clients_module,

&ngx_http_referer_module,

&ngx_http_rewrite_module,

&ngx_http_proxy_module,

&ngx_http_fastcgi_module,

&ngx_http_uwsgi_module,

&ngx_http_scgi_module,

&ngx_http_memcached_module,

&ngx_http_empty_gif_module,

&ngx_http_browser_module,

&ngx_http_upstream_ip_hash_module,

&ngx_http_upstream_least_conn_module,

&ngx_http_upstream_keepalive_module,

&ngx_http_write_filter_module,

&ngx_http_header_filter_module,

&ngx_http_chunked_filter_module,

&ngx_http_range_header_filter_module,

&ngx_http_gzip_filter_module,

&ngx_http_postpone_filter_module,

&ngx_http_ssi_filter_module,

&ngx_http_charset_filter_module,

&ngx_http_userid_filter_module,

&ngx_http_headers_filter_module,

&ngx_http_copy_filter_module,

&ngx_http_range_body_filter_module,

&ngx_http_not_modified_filter_module,

NULL

};

初始化完成：阅读全文…

分类: Nginx 标签:

nginx中定时器与事件流程

2015年4月13日 admin 评论已被关闭

1.nginx中的时间更新

Nginx在内部自己缓存时间，那么这些时间值在什么地方更新呢？

1.1 收到信号时更新时间

ngx_signal(signo)
{
   ...
   update_safe_time(); /*安全可重入的时间更新函数*/
   ....
}

ngx_signal(signo)

{

...

update_safe_time(); /*安全可重入的时间更新函数*/

....

}

1.2 timer_resolution值为0

如果用户没有设置timer_resolution值或者设置为0值，那么每次在轮询事件都会设置NGX_UPDATE_TIME标志，表示轮询结束后要更新时间(以kqueue为例):

if (ngx_timer_resolution) {
   timer = NGX_TIMER_INFINITE;
   flags = 0;
} else {
   timer = ngx_event_find_timer();
   flags = NGX_UPDATE_TIME;
}

if (ngx_timer_resolution) {

timer = NGX_TIMER_INFINITE;

flags = 0;

} else {

timer = ngx_event_find_timer();

flags = NGX_UPDATE_TIME;

}

轮询时：

events = kevent(ngx_kqueue, change_list, n, event_list, (int) nevents, tp);
if (flags & NGX_UPDATE_TIME || ngx_event_timer_alarm) {
   ngx_time_update();
}

events = kevent(ngx_kqueue, change_list, n, event_list, (int) nevents, tp);

if (flags & NGX_UPDATE_TIME || ngx_event_timer_alarm) {

ngx_time_update();

}

1.3 timer_resolution值非0

如果用户设置timer_resolution为非零值，nginx会在定时器触发时更新时间。

在nginx中系统定时器的具体实现有两种，一种是使用setitimer(),另外一种具体事件中模型实现的。

1.3.1使用setitimer()

在事件初始化后使用setitimer(timer_resolution),那么系统会每隔timer_resolution(单位为毫秒)发送SIGALARM信号,信号处理函数：

ngx_sigal_timer(signo)
{
   ngx_event_timer_alarm = 1;
}

ngx_sigal_timer(signo)

{

ngx_event_timer_alarm = 1;

}

后续的的轮询会被打断并在结束后会去判断ngx_event_timer_alarm值，如果为1的话会更新时间(以kqueue为例)：

...
events = kevent(ngx_kqueue, change_list, n, event_list, (int) nevents, tp);
if (flags & NGX_UPDATE_TIME || ngx_event_timer_alarm) {
   ngx_time_update();
}
...

...

events = kevent(ngx_kqueue, change_list, n, event_list, (int) nevents, tp);

if (flags & NGX_UPDATE_TIME || ngx_event_timer_alarm) {

ngx_time_update();

}

...

1.3.2使用特定的事件模型

对于特定的事件模型，在这里只包括kqueue和eventport。它们内部实现了一个定时器，我们在事件初始化时安装定时器,例如（以kqueue为例）：

kev.ident = 0;
kev.filter = EVFILT_TIMER;
kev.flags = EV_ADD|EV_ENABLE;
kev.fflags = 0;
kev.data = timer;
kev.udata = 0;

ts.tv_sec = 0;
ts.tv_nsec = 0;

kevent(ngx_kqueue, &kev, 1, NULL, 0, &ts);
ngx_event_flags |= NGX_USE_TIMER_EVENT;

kev.ident = 0;

kev.filter = EVFILT_TIMER;

kev.flags = EV_ADD|EV_ENABLE;

kev.fflags = 0;

kev.data = timer;

kev.udata = 0;

ts.tv_sec = 0;

ts.tv_nsec = 0;

kevent(ngx_kqueue, &kev, 1, NULL, 0, &ts);

ngx_event_flags |= NGX_USE_TIMER_EVENT;

同时设置还会置上NGX_USE_TIMER_EVENT标志，并且定时器触发时没有回调函数，我们要在事件轮询后判断是否是定时器事件，如果是则要更新时间（以kqueue为例）:

...
events = kevent(ngx_kqueue, change_list, n, event_list, (int) nevents, tp);
...
for (i = 0; i < events; i++) {
   ...
   /*处理定时器消息*/
   if (event_list[i].filter == EVFILT_TIMER) {
       ngx_time_update();
       continue;
   }
   ...
}

...

events = kevent(ngx_kqueue, change_list, n, event_list, (int) nevents, tp);

...

for (i = 0; i < events; i++) {

...

/*处理定时器消息*/

if (event_list[i].filter == EVFILT_TIMER) {

ngx_time_update();

continue;

}

...

}

总结：nginx自身缓存时间。阅读全文…

分类: Linux, Nginx 标签:

二叉树的深度优先遍历与广度优先遍历

2014年11月22日 admin 评论已被关闭

二叉树的深度优先遍历就是二叉树地前序遍历．二叉树的广度遍历就是层序遍历.（最后面有完整的代码）．
一．深度优先遍历(DFS)

深度优先遍历与前序遍历的结果是一样的．那么递归实现应该是

void dfs_r(T)
{
    if (T == NULL) {
        return ;
    }

    print(T.k);

    dfs_r(T.left);
    dfs_r(T.right);
}

void dfs_r(T)

{

if (T == NULL) {

return ;

}

print(T.k);

dfs_r(T.left);

dfs_r(T.right);

}

与之对应的非递归算法是，使用栈的先进后出的特性．

void dfs(T)
{
    push(q,T);

    while (!is_empty(q)) {
        n = pop(q);
        print(n.k);

        if (n.right) {
            push(q,n.right);
        }

        if (n.left) {
            push(q,n.left);
        }
    }
}

void dfs(T)

{

push(q,T);

while (!is_empty(q)) {

n = pop(q);

print(n.k);

if (n.right) {

push(q,n.right);

}

if (n.left) {

push(q,n.left);

}

二.广度优先遍历(BFS)

二叉树的广度优先遍历其实很简单，大概的思路是访问一个结点时，将它的子结点放入队列后面，当本层访问结束后，队列中就剩下下一层的所有结点，直到队列中没有结点为止．
可以看到队列的前部是当前层剩下的结点，队列的后部是当前层已经访问过的结点的子结点．

void bfs(T)
{
    push(s,T);

    while (!is_empty(s)) {
        n = pop(s);
        print(n.k);

        if (n.left) {
            push(s,n.left);
        }
        if (n.right) {
            push(s,n.right);
        }
    }
    return ;
}

void bfs(T)

{

push(s,T);

while (!is_empty(s)) {

n = pop(s);

print(n.k);

if (n.left) {

push(s,n.left);

}

if (n.right) {

push(s,n.right);

}

return ;

}

完整代码阅读全文…

分类: 算法导论标签:

Win32选择保存文件路径和打开文件夹的函数

2014年9月30日 admin 评论已被关闭

有时候我们需要拾取打开或者保存的路径，浏览文件夹，下面是win32的接口。

#include <shlobj.h>
#include <windows.h>

int GetOpenOrSaveFileDialog(HWND hwnd,TCHAR filename[],int maxlen)
{
    OPENFILENAME ofn;
    BOOL  rc;
    memset(&ofn,0,sizeof(ofn));

    ofn.lStructSize = sizeof(ofn);
    ofn.hwndOwner = hwnd;
    ofn.lpstrFile = filename;
    ofn.nMaxFile  = maxlen*sizeof(filename[0]);
    ofn.nFilterIndex = 1;
    ofn.Flags = OFN_PATHMUSTEXIST ;

    ofn.lpstrFilter = TEXT("MPG file(*.mpg)\0*.mpg\0")
                      TEXT("MP4 file(*.mpg)\0*.mp4\0");

    rc = GetSaveFileName(&ofn);  /*Save As*/
    /*   GetOpenFileName(&ofn);*//*Open*/

    return rc;
}

int GetOpenFolderDialog(HWND hwnd,TCHAR* folder)
{
    BROWSEINFO bi = {0};
    LPITEMIDLIST pIDList;
    IMalloc * imalloc = 0;

    bi.hwndOwner = hwnd;
    bi.lpszTitle = TEXT("select a folder");
    bi.ulFlags = BIF_RETURNONLYFSDIRS|BIF_EDITBOX;
    pIDList = SHBrowseForFolder(&bi);

    if(pIDList) {
        SHGetPathFromIDList(pIDList,folder);
        if (SUCCEEDED(SHGetMalloc(&imalloc))) {
            imalloc->lpVtbl->Free (imalloc,pIDList);
            imalloc->lpVtbl->Release(imalloc);
            return TRUE;
        }
    }
    return FALSE;
}

#include <shlobj.h>

#include <windows.h>

int GetOpenOrSaveFileDialog(HWND hwnd,TCHAR filename[],int maxlen)

{

OPENFILENAME ofn;

BOOL rc;

memset(&ofn,0,sizeof(ofn));

ofn.lStructSize = sizeof(ofn);

ofn.hwndOwner = hwnd;

ofn.lpstrFile = filename;

ofn.nMaxFile = maxlen*sizeof(filename[0]);

ofn.nFilterIndex = 1;

ofn.Flags = OFN_PATHMUSTEXIST ;

ofn.lpstrFilter = TEXT("MPG file(*.mpg)\0*.mpg\0")

TEXT("MP4 file(*.mpg)\0*.mp4\0");

rc = GetSaveFileName(&ofn); /*Save As*/

/* GetOpenFileName(&ofn);*//*Open*/

return rc;

}

int GetOpenFolderDialog(HWND hwnd,TCHAR* folder)

{

BROWSEINFO bi = {0};

LPITEMIDLIST pIDList;

IMalloc * imalloc = 0;

bi.hwndOwner = hwnd;

bi.lpszTitle = TEXT("select a folder");

bi.ulFlags = BIF_RETURNONLYFSDIRS|BIF_EDITBOX;

pIDList = SHBrowseForFolder(&bi);

if(pIDList) {

SHGetPathFromIDList(pIDList,folder);

if (SUCCEEDED(SHGetMalloc(&imalloc))) {

imalloc->lpVtbl->Free (imalloc,pIDList);

imalloc->lpVtbl->Release(imalloc);

return TRUE;

}

return FALSE;

}

MSDN：GetSaveFileName
MSDN：SHBrowseForFolder

分类: Win32 标签:

rtmp直播流程

2014年6月24日 admin 评论已被关闭

下面是通过RTMP抓包所得，左侧是客户端Flash Media Live Encoder，右侧是服务器Flash Media Server

 +--------------+                                        +--------------+
 | Client(FMLE) |                                        | Server (FMS) |
 +--------------+                                        +--------------+
        |                                                        |
        |                          C0 C1                         |
        |--------------------------------------------------->    +----
        |                                                        |
        |                        S0 S1 S2                        |
        |    <---------------------------------------------------| handshake
        |                                                        |
        |                           C2                           |
        |--------------------------------------------------->    +----
        |                                                        |
        |                 connect('live_server')                 |
        |--------------------------------------------------->    |
        |                                                        |
        |         Windows Acknowledgement Size 2500000           |
        |    <---------------------------------------------------|
        |                                                        | connect
        |           Set Peer BandWith 2500000,Dynamic            |
        |    <---------------------------------------------------|
        |                                                        |
        |                 Set Chunk Size 1024                    |
        |    <---------------------------------------------------|
        |                                                        |
        |        _result('NetConnection.Connect.Success')        |
        |    <---------------------------------------------------+----
        |                                                        |
        |              releaseStream('livestream')               |
        |--------------------------------------------------->    |
        |                                                        |
        |               FCPulbic('livestream')                   |
        |--------------------------------------------------->    |
        |                                                        |
        |                    createStream()                      |
        |--------------------------------------------------->    | publish
        |                                                        |
        |                      _result()                         |
        |    <---------------------------------------------------|
        |                                                        |
        |     publish('livestream?videoKeyframeFrequency=5')     |
        |--------------------------------------------------->    |
        |                                                        |
        |                 Set Chunk Size 1024                    |
        |--------------------------------------------------->    |
        |                                                        |
        |         onStatus('NetStream.Publish.Start')            |
        |    <---------------------------------------------------+----
        |                                                        |
        |                    @setDataFrame()                     |
        |--------------------------------------------------->    |
        |                                                        |
        |                     Video Data                         |
        |--------------------------------------------------->    |
        |                                                        |
        |                Set Chunk Size 418                      |
        |--------------------------------------------------->    |
        |                                                        |
        |                     Audio Data                         |
        |--------------------------------------------------->    |
        |                                                        | av data
        |                     Audio Data                         |
        |--------------------------------------------------->    |
        |                                                        |
        |                     Video Data                         |
        |--------------------------------------------------->    |
        |                                                        |
        |                     Audio Data                         |
        |--------------------------------------------------->    |
        |                                                        |
        |                     Audio Data                         |
        |--------------------------------------------------->    |
        |                                                        |
        |                     Video Data                         |
        |--------------------------------------------------->    |
        |                                                        |
        |                    FCUnpublish()                       |
        |--------------------------------------------------->    +----
        |                                                        |
        |                    closeStream()                       |
        |--------------------------------------------------->    |
        |                                                        | close
        |        onStatus('NetStream.Unpublish.Success')         |
        |    <---------------------------------------------------|
        |                                                        |
        |                    deleteStream()                      |
        |--------------------------------------------------->    +----
        |                                                        |
        |                                                        |

+--------------+ +--------------+

| Client(FMLE) | | Server (FMS) |

+--------------+ +--------------+

| |

| C0 C1 |

|---------------------------------------------------> +----

| |

| S0 S1 S2 |

| <---------------------------------------------------| handshake

| |

| C2 |

|---------------------------------------------------> +----

| |

| connect('live_server') |

|---------------------------------------------------> |

| |

| Windows Acknowledgement Size 2500000 |

| <---------------------------------------------------|

| | connect

| Set Peer BandWith 2500000,Dynamic |

| <---------------------------------------------------|

| |

| Set Chunk Size 1024 |

| <---------------------------------------------------|

| |

| _result('NetConnection.Connect.Success') |

| <---------------------------------------------------+----

| |

| releaseStream('livestream') |

|---------------------------------------------------> |

| |

| FCPulbic('livestream') |

|---------------------------------------------------> |

| |

| createStream() |

|---------------------------------------------------> | publish

| |

| _result() |

| <---------------------------------------------------|

| |

| publish('livestream?videoKeyframeFrequency=5') |

|---------------------------------------------------> |

| |

| Set Chunk Size 1024 |

|---------------------------------------------------> |

| |

| onStatus('NetStream.Publish.Start') |

| <---------------------------------------------------+----

| |

| @setDataFrame() |

|---------------------------------------------------> |

| |

| Video Data |

|---------------------------------------------------> |

| |

| Set Chunk Size 418 |

|---------------------------------------------------> |

| |

| Audio Data |

|---------------------------------------------------> |

| | av data

| Audio Data |

|---------------------------------------------------> |

| |

| Video Data |

|---------------------------------------------------> |

| |

| Audio Data |

|---------------------------------------------------> |

| |

| Audio Data |

|---------------------------------------------------> |

| |

| Video Data |

|---------------------------------------------------> |

| |

| FCUnpublish() |

|---------------------------------------------------> +----

| |

| closeStream() |

|---------------------------------------------------> |

| | close

| onStatus('NetStream.Unpublish.Success') |

| <---------------------------------------------------|

| |

| deleteStream() |

|---------------------------------------------------> +----

| |

分类: C/C++, Linux 标签:

两种RTMP的握手协议

2014年6月16日 admin 评论已被关闭

RTMP握手协议

根据RTMP的文档，RTMP的握手过程为：

|client|             |server|
   | -----(C0, C1)---->  |
   | <----(S0, S1)-----  |
   | <----( S2 )----- | | -----( C2 )---->  |

|client| |server|

| -----(C0, C1)----> |

| <----(S0, S1)----- |

| <----( S2 )----- | | -----( C2 )----> |

下面是握手的数据格式：

C0：(协议版本)0x03;
C1：4B(时间1) + 4B(全零)  + 1528B(随机数1)。
------------------------------------------>

S0：(协议版本)0x03;
S1：4B(时间2) + 4B(全零)  + 1528B(随机数2)。
S2：4B(时间1) + 4B(时间3) + 1528B(随机数1)。

C0：(协议版本)0x03;

C1：4B(时间1) + 4B(全零) + 1528B(随机数1)。

------------------------------------------>

S0：(协议版本)0x03;

S1：4B(时间2) + 4B(全零) + 1528B(随机数2)。

S2：4B(时间1) + 4B(时间3) + 1528B(随机数1)。

其中：
时间1：C发送C1时，C上的时间
时间2：S发送S1时，S上的时间
时间3：S接到C1时，S上的时间
时间4：C接到S1时，S上的时间
(时间2和时间3可能相等)

所以上面的过程写成代码应该是：阅读全文…

分类: 翻译标签:

存档

nginx进程管理-signaller进程

使用chroimum QUIC构建QUIC客户端程序

使用Visual Studio2015调试云主机PHP代码

Nginx使用instance标记处理kqueue/epoll中的stale事件

nginx的模块上下文

nginx中定时器与事件流程

1.nginx中的时间更新

二叉树的深度优先遍历与广度优先遍历

Win32选择保存文件路径和打开文件夹的函数

rtmp直播流程

两种RTMP的握手协议

近期文章

分类目录

文章归档

链接表

功能