使用 nginx 进行 ab 站点的过程简单分析

本贴最后更新于 2847 天前,其中的信息可能已经沧海桑田

由于业务需要,在官网上部署两套前端页面,通过特定的字段(例如手机号码)进行分流,来达到 a/b 站的要求,后续对 a/b 站最终数据进行分析,选出哪部分页面对用户体验来说会更优秀。

nginx 请求分流

考虑利用 nginx 的分流功能:http://neoremind.com/2012/03/nginx%E6%A0%B9%E6%8D%AEcookie%E5%88%86%E6%B5%81/

在 mac 下使用 brew install nginx,安装完成后的目录为:/usr/local/Cellar/nginx/1.10.3(根据不同的版本会有所不同)/,nginx 配置文件所在目录:/usr/local/etc/nginx。

在 Postman 中需要安装下载 Postman Interceptor 扩展程序,此时就可以通过发送 Headers 中的内容,来达到发送 Cookie 的目的:

[9D71E1F0-1777-4E15-876F-E3C74DD6F6C9.png](http://pic.findyou.xin/e84e776bb97f44d992454a680cb6daf7.png)

在 nginx 中,可以根据该 cookie 进行匹配判断,决定要发送的服务器 upstream:

match cookie
set $stream stream0;
if ($http_cookie ~* "phone=([^;]+)(1$)"){
    set $stream stream1;
}
if ($http_cookie ~* "phone=([^;]+)(2$)"){
    set $stream stream2;
}

在上面的示例中,仅能匹配单个 http_cookie 的最后一行,如果我们想要根据手机尾号进行用户划分的话,必须要匹配多个属性:

match cookie
        set $stream stream0;
        if ($http_cookie ~* "phone=([^;]+)([5-9]$)"){
            set $stream stream1;
        }
        if ($http_cookie ~* "phone=([^;]+)([0-4]$)"){
            set $stream stream2;
        }

进行范围查找,如果在 5-9 之间,对应 stream1,否则对应 stream2,如果没有该 cookie,需要给定一个默认值 stream0。

上述情况出现在用户已经登录的情况下,如果请求是处于注册/登录的过程中,此时并没有 cookie 数据,但这两种操作都是通过 POST 请求,在 form 表单中存在对应的字段手机号(phone),考虑是否可以根据 request body 中的字段进行填充。

nginx 中的变量介绍主要如链接中:https://moonbingbing.gitbooks.io/openresty-best-practices/content/openresty/inline_var.html

可以在日志中将 request_body 打印出来,只要加上 request_body 属性即可,如果我们加上的数据为“phone=111”

------WebKitFormBoundaryq2rbBAdTrAuTi6IG\x0D\x0AContent-Disposition: form-data; name=\x22phone\x22\x0D\x0A\x0D\x0A111\x0D\x0A------WebKitFormBoundaryq2rbBAdTrAuTi6IG--\x0D\x0A

可见这些字段是已经经过了额外的转义处理,如果想要分析 request body 中的字段比较麻烦,nginx 只有在修改插件运行的情况下(对 nginx 本身进行编程),才能访问到 request body 中的字段。

因此我们的方案调整为,注册/登录完成后写 Cookie,但不能马上刷新缓存,但可以通过页面上的 ajax 请求 success 回调,去强制重刷整个页面来获取 a/b 站点对应 js/css 资源,但可能造成额外的流量损耗。

内部域名解析/转换

但我们部署的服务理论上是在两台 docker 容器上,并无固定 ip,是通过不同的内部域名进行处理的,因此在 upstream 出现域名时,就会发生无法转发的问题,即定义的 http://${url}并不进行替换。

upstream main {
      server web1.local:80;
      server web2.local:80;
      server web3.local:80;
    }

通过问题查找,参考下面的一篇文章:

曾经尝试了第一种方式,设置 proxy_set_header,并没有起作用:

    proxy_set_header Host            $host;
    proxy_set_header X-Forwarded-For $remote_addr;

第二种方式理论上应该可行,是通过开放多个端口的方式,建立几个 virtual server,但由于我们将系统部署在 lain(docker 的一种实践)上,限制条件比较多,只能开放一个 web 端口,因此该方式在 lain 环境上不可行。

server {
  listen      8001 default_server;
  server_name web1.example.com;
  location / {
    proxy_pass       http://web1.local:80;
    proxy_set_header Host web1.local:80;
  }
}

server {
  listen      8002 default_server;
  server_name web2.example.com;
  location / {
    proxy_pass       http://web2.local:80;
    proxy_set_header Host web2.local:80;
  }
}

server {
  listen      8003 default_server;
  server_name web3.example.com;
  location / {
    proxy_pass       http://web3.local:80;
    proxy_set_header Host web3.local:80;
  }
}

upstream main {
  server 127.0.0.1:8001;
  server 127.0.0.1:8002;
  server 127.0.0.1:8003;
}

server {
  listen      80;
  server_name example.com;
  location / {
    proxy_pass http://main;
  }
}

Tengine 提供此支持,http://tengine.taobao.org/document_cn/http_upstream_dynamic_cn.html,但通过测试发现 tengine 支持的这种方式可能只能利用外网可解析的域名来处理,如果是内网域名仍然是与没有配置该模块的结果相同。

upstream stream80 {
        dynamic_resolve fallback=next fail_timeout=30s;
        #server www.xxx.cn;
        server xxx.xxapp.xyz;
    }

转移到 xxx.xxapp.xyz,此为内部解析的域名:

[Snip20170302_2.png](http://pic.findyou.xin/38257ca397a84fc896e0d9f617f99cc0.png)

我们将转移到 www.xxx.cn,会发现已经进行了转换(错误是由于 servername 名称不匹配)

[Snip20170302_2.png](http://pic.findyou.xin/ba9885a13dcb4797ab9f50e473deae58.png)

基本判断 tengine 的这个模块应该是可用的,但域名解析可能用到了一些特殊的条件或算法,导致无法解析我们内网的域名,所以在只能部署单个对外端口的 docker 容器下,暂时不能解决内网 upstream 带 server_name 的问题(最终考虑将其部署在虚拟机上,开启多个端口来解决该问题,也就是参考链接中的第二条)。

  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    313 引用 • 547 回帖 • 1 关注
  • ab
    1 引用 • 1 回帖
  • cookie分流
    1 引用 • 1 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • alanfans

    我就喜欢这样的干货

推荐标签 标签

  • 生活

    生活是指人类生存过程中的各项活动的总和,范畴较广,一般指为幸福的意义而存在。生活实际上是对人生的一种诠释。生活包括人类在社会中与自己息息相关的日常活动和心理影射。

    230 引用 • 1454 回帖 • 1 关注
  • 音乐

    你听到信仰的声音了么?

    61 引用 • 511 回帖
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年,是中国的 IT 社区和服务平台,为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务,满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖
  • danl
    146 关注
  • ngrok

    ngrok 是一个反向代理,通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 627 关注
  • 锤子科技

    锤子科技(Smartisan)成立于 2012 年 5 月,是一家制造移动互联网终端设备的公司,公司的使命是用完美主义的工匠精神,打造用户体验一流的数码消费类产品(智能手机为主),改善人们的生活质量。

    4 引用 • 31 回帖
  • 域名

    域名(Domain Name),简称域名、网域,是由一串用点分隔的名字组成的 Internet 上某一台计算机或计算机组的名称,用于在数据传输时标识计算机的电子方位(有时也指地理位置)。

    43 引用 • 208 回帖
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    36 引用 • 35 回帖
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    76 引用 • 1737 回帖
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器,在 1999 年被捐献给 ASF(Apache Software Foundation),隶属于 Jakarta 项目,现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范,同时也提供 HTTP 服务,是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖 • 4 关注
  • Bootstrap

    Bootstrap 是 Twitter 推出的一个用于前端开发的开源工具包。它由 Twitter 的设计师 Mark Otto 和 Jacob Thornton 合作开发,是一个 CSS / HTML 框架。

    18 引用 • 33 回帖 • 667 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 637 关注
  • Gzip

    gzip (GNU zip)是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件,它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式,或者说一种文件格式。

    9 引用 • 12 回帖 • 147 关注
  • 智能合约

    智能合约(Smart contract)是一种旨在以信息化方式传播、验证或执行合同的计算机协议。智能合约允许在没有第三方的情况下进行可信交易,这些交易可追踪且不可逆转。智能合约概念于 1994 年由 Nick Szabo 首次提出。

    1 引用 • 11 回帖 • 2 关注
  • 阿里巴巴

    阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的 18 人,于 1999 年在中国杭州创立,他们相信互联网能够创造公平的竞争环境,让小企业通过创新与科技扩展业务,并在参与国内或全球市场竞争时处于更有利的位置。

    43 引用 • 221 回帖 • 106 关注
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时,提供更无缝的用户体验。

    1 引用 • 2 回帖 • 53 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库,专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 76 关注
  • 百度

    百度(Nasdaq:BIDU)是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村,致力于向人们提供“简单,可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”,象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 164 关注
  • Oracle

    Oracle(甲骨文)公司,全称甲骨文股份有限公司(甲骨文软件系统有限公司),是全球最大的企业级软件公司,总部位于美国加利福尼亚州的红木滩。1989 年正式进入中国市场。2013 年,甲骨文已超越 IBM,成为继 Microsoft 后全球第二大软件公司。

    105 引用 • 127 回帖 • 370 关注
  • Lute

    Lute 是一款结构化的 Markdown 引擎,支持 Go 和 JavaScript。

    26 引用 • 196 回帖 • 17 关注
  • 创造

    你创造的作品可能会帮助到很多人,如果是开源项目的话就更赞了!

    178 引用 • 997 回帖
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 44 关注
  • JRebel

    JRebel 是一款 Java 虚拟机插件,它使得 Java 程序员能在不进行重部署的情况下,即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 672 关注
  • RIP

    愿逝者安息!

    8 引用 • 92 回帖 • 363 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 76 关注
  • Angular

    AngularAngularJS 的新版本。

    26 引用 • 66 回帖 • 536 关注
  • OnlyOffice
    4 引用 • 3 关注