Nginx 源代码笔记 - HTTP 模块 - mirror

配置指令解析

ngx_http_mirror_module 模块提供的两个配置指令 mirror 和 mirror_request_body 可以用在配 置文件的 http {} 、 server {} 和 location {} 三类作用域中。

mirror 配置指令可以在某个配置作用域中出现多次，它属于 「数组类配置项」 。 当内层作用域没有显式使用 mirror 配置项时，会从外层继承相关配置。

static char *
ngx_http_mirror(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
{
    ...
    if (mlcf->mirror == NGX_CONF_UNSET_PTR) {
        mlcf->mirror = ngx_array_create(cf->pool, 4, sizeof(ngx_str_t));
        ...
    }
    s = ngx_array_push(mlcf->mirror);
    ...
    *s = value[1];
    ...
}

static char *
ngx_http_mirror_merge_loc_conf(ngx_conf_t *cf, void *parent, void *child)
{
    ...
    ngx_conf_merge_ptr_value(conf->mirror, prev->mirror, NULL);
    ...
}

mirror_request_body 配置指令是一个 「一般配置项」 。 Nginx 根据它的值决定是否将主请求的请求包体转发给目标服务。它的解析和继承流程和 mirror 相似，此 处不再赘述。

注册处理函数

该模块工作于 *PRECONTENT* 阶段，这个阶段本身也是 1.13.4 版本刚刚加入到 Nginx 中的。模块提供的 phase handler ngx_http_mirror_handler 在 Nginx 进程启动阶段被注册到 PRECONTENT 阶段：

static ngx_int_t
ngx_http_mirror_init(ngx_conf_t *cf)
{
    ...
    h = ngx_array_push(&cmcf->phases[NGX_HTTP_PRECONTENT_PHASE].handlers);
    ...
    *h = ngx_http_mirror_handler;
    ...
}

复制用户请求

接下来进入关键环节：当主请求的处理流程进行到 PRECONTENT 阶段时，Nginx 会调用 ngx_http_mirror_handler 检查是否需要复制当前请求，决定是否复制请求包体和创建「后台子请求」开始流 量复制流程。

我们按照 phase handler 的执行流程逐段分析相关代码。

1. 当前请求非主请求，或者当前作用域并未配置 mirror 指令的话，不处理当前请求。

   Copy

   # ngx_http_mirror_handler
   
   if (r != r->main) {
       return NGX_DECLINED;
   }
   
   mlcf = ngx_http_get_module_loc_conf(r, ngx_http_mirror_module);
   
   if (mlcf->mirror == NULL) {
       return NGX_DECLINED;
   }
   

2. 如果需要连同请求包体一起复制，那么在创建「后台子请求」之前，Nginx 需要接收完整请求包体。

   • Nginx 使用函数 ngx_http_read_client_request_body 读取请求包体，它会开启一个新的异步流程 （增加主请求引用计数）。同时，因为当前我们除了接收请求包体外，该主请求上并无其它任务进行，所以 Nginx 可以暂时停止主请求处理流程（ ngx_http_finalize_request(r, NGX_DONE) ）。待接收包体的 异步函数完成后，Nginx 再在函数 ngx_http_mirror_body_handler 中恢复主请求处理流程。
   • 如果并不需要复制请求包体，Nginx 则直接调用函数 ngx_http_mirror_handler_internal 创建「后 台子请求」开始请求复制流程，并恢复主请求正常处理流程。
   Copy

   # ngx_http_mirror_handler
   
   if (mlcf->request_body) {
       ...
       rc = ngx_http_read_client_request_body(r, ngx_http_mirror_body_handler);
       ...
       ngx_http_finalize_request(r, NGX_DONE);
       return NGX_DONE;
   }
   
   return ngx_http_mirror_handler_internal(r);
   

3. 请求包体收取完成后，Nginx 调用函数 ngx_http_mirror_body_handler 创建「后台子请求」，并恢复原 主请求处理流程。

   • 模块通过设置主请求的 r->preserve_body = 1 防止主请求处理完成后删除请求包体所在的临时文 件，避免还未完成的「后台子请求」无请求包体可用。
   • 函数 ngx_http_mirror_handler 的返回值 NGX_DONE，会让主请求再被再次调度时（由下面的函 数 ngx_http_core_run_phases 触发），仍旧从 PRECONTENT 阶段恢复处理流程。
   Copy

   # ngx_http_mirror_body_handler
   
   ctx->status = ngx_http_mirror_handler_internal(r);
   
   r->preserve_body = 1;
   
   r->write_event_handler = ngx_http_core_run_phases;
   ngx_http_core_run_phases(r);
   

4. 函数 ngx_http_mirror_handler_internal 创建「后台子请求」，开始流量复制流程。

   • 它为每个 mirror 配置指令创建一个对应的「后台子请求」。子请求使用和主请求相同的 HTTP 方法。
   • 为「后台子请求」设置 r->header_only，这样会带来一个问题：如果「后台子请求」是所在连接上的最 后一个请求的话，Nginx 一旦接收完它的响应包头就会关闭上下游连接，这样可能会造成目标系统因无 法正常发送响应数据而报错（比如响应数据包体较大时）。
   Copy

   # ngx_http_mirror_handler_internal
   
   mlcf = ngx_http_get_module_loc_conf(r, ngx_http_mirror_module);
   
   name = mlcf->mirror->elts;
   
   for (i = 0; i < mlcf->mirror->nelts; i++) {
       if (ngx_http_subrequest(r, &name[i], &r->args, &sr, NULL,
                               NGX_HTTP_SUBREQUEST_BACKGROUND)
           != NGX_OK)
       {
           return NGX_HTTP_INTERNAL_SERVER_ERROR;
       }
   
       sr->header_only = 1;
       sr->method = r->method;
       sr->method_name = r->method_name;
   }
   

以上就是模块 ngx_http_mirror_module 进行流量复制的主要逻辑了。