使用 nginx 进行 ab 站点的过程简单分析

本贴最后更新于 2608 天前,其中的信息可能已经沧海桑田

由于业务需要,在官网上部署两套前端页面,通过特定的字段(例如手机号码)进行分流,来达到 a/b 站的要求,后续对 a/b 站最终数据进行分析,选出哪部分页面对用户体验来说会更优秀。

nginx 请求分流

考虑利用 nginx 的分流功能:http://neoremind.com/2012/03/nginx%E6%A0%B9%E6%8D%AEcookie%E5%88%86%E6%B5%81/

在 mac 下使用 brew install nginx,安装完成后的目录为:/usr/local/Cellar/nginx/1.10.3(根据不同的版本会有所不同)/,nginx 配置文件所在目录:/usr/local/etc/nginx。

在 Postman 中需要安装下载 Postman Interceptor 扩展程序,此时就可以通过发送 Headers 中的内容,来达到发送 Cookie 的目的:

[9D71E1F0-1777-4E15-876F-E3C74DD6F6C9.png](http://pic.findyou.xin/e84e776bb97f44d992454a680cb6daf7.png)

在 nginx 中,可以根据该 cookie 进行匹配判断,决定要发送的服务器 upstream:

match cookie
set $stream stream0;
if ($http_cookie ~* "phone=([^;]+)(1$)"){
    set $stream stream1;
}
if ($http_cookie ~* "phone=([^;]+)(2$)"){
    set $stream stream2;
}

在上面的示例中,仅能匹配单个 http_cookie 的最后一行,如果我们想要根据手机尾号进行用户划分的话,必须要匹配多个属性:

match cookie
        set $stream stream0;
        if ($http_cookie ~* "phone=([^;]+)([5-9]$)"){
            set $stream stream1;
        }
        if ($http_cookie ~* "phone=([^;]+)([0-4]$)"){
            set $stream stream2;
        }

进行范围查找,如果在 5-9 之间,对应 stream1,否则对应 stream2,如果没有该 cookie,需要给定一个默认值 stream0。

上述情况出现在用户已经登录的情况下,如果请求是处于注册/登录的过程中,此时并没有 cookie 数据,但这两种操作都是通过 POST 请求,在 form 表单中存在对应的字段手机号(phone),考虑是否可以根据 request body 中的字段进行填充。

nginx 中的变量介绍主要如链接中:https://moonbingbing.gitbooks.io/openresty-best-practices/content/openresty/inline_var.html

可以在日志中将 request_body 打印出来,只要加上 request_body 属性即可,如果我们加上的数据为“phone=111”

------WebKitFormBoundaryq2rbBAdTrAuTi6IG\x0D\x0AContent-Disposition: form-data; name=\x22phone\x22\x0D\x0A\x0D\x0A111\x0D\x0A------WebKitFormBoundaryq2rbBAdTrAuTi6IG--\x0D\x0A

可见这些字段是已经经过了额外的转义处理,如果想要分析 request body 中的字段比较麻烦,nginx 只有在修改插件运行的情况下(对 nginx 本身进行编程),才能访问到 request body 中的字段。

因此我们的方案调整为,注册/登录完成后写 Cookie,但不能马上刷新缓存,但可以通过页面上的 ajax 请求 success 回调,去强制重刷整个页面来获取 a/b 站点对应 js/css 资源,但可能造成额外的流量损耗。

内部域名解析/转换

但我们部署的服务理论上是在两台 docker 容器上,并无固定 ip,是通过不同的内部域名进行处理的,因此在 upstream 出现域名时,就会发生无法转发的问题,即定义的 http://${url}并不进行替换。

upstream main {
      server web1.local:80;
      server web2.local:80;
      server web3.local:80;
    }

通过问题查找,参考下面的一篇文章:

曾经尝试了第一种方式,设置 proxy_set_header,并没有起作用:

    proxy_set_header Host            $host;
    proxy_set_header X-Forwarded-For $remote_addr;

第二种方式理论上应该可行,是通过开放多个端口的方式,建立几个 virtual server,但由于我们将系统部署在 lain(docker 的一种实践)上,限制条件比较多,只能开放一个 web 端口,因此该方式在 lain 环境上不可行。

server {
  listen      8001 default_server;
  server_name web1.example.com;
  location / {
    proxy_pass       http://web1.local:80;
    proxy_set_header Host web1.local:80;
  }
}

server {
  listen      8002 default_server;
  server_name web2.example.com;
  location / {
    proxy_pass       http://web2.local:80;
    proxy_set_header Host web2.local:80;
  }
}

server {
  listen      8003 default_server;
  server_name web3.example.com;
  location / {
    proxy_pass       http://web3.local:80;
    proxy_set_header Host web3.local:80;
  }
}

upstream main {
  server 127.0.0.1:8001;
  server 127.0.0.1:8002;
  server 127.0.0.1:8003;
}

server {
  listen      80;
  server_name example.com;
  location / {
    proxy_pass http://main;
  }
}

Tengine 提供此支持,http://tengine.taobao.org/document_cn/http_upstream_dynamic_cn.html,但通过测试发现 tengine 支持的这种方式可能只能利用外网可解析的域名来处理,如果是内网域名仍然是与没有配置该模块的结果相同。

upstream stream80 {
        dynamic_resolve fallback=next fail_timeout=30s;
        #server www.xxx.cn;
        server xxx.xxapp.xyz;
    }

转移到 xxx.xxapp.xyz,此为内部解析的域名:

[Snip20170302_2.png](http://pic.findyou.xin/38257ca397a84fc896e0d9f617f99cc0.png)

我们将转移到 www.xxx.cn,会发现已经进行了转换(错误是由于 servername 名称不匹配)

[Snip20170302_2.png](http://pic.findyou.xin/ba9885a13dcb4797ab9f50e473deae58.png)

基本判断 tengine 的这个模块应该是可用的,但域名解析可能用到了一些特殊的条件或算法,导致无法解析我们内网的域名,所以在只能部署单个对外端口的 docker 容器下,暂时不能解决内网 upstream 带 server_name 的问题(最终考虑将其部署在虚拟机上,开启多个端口来解决该问题,也就是参考链接中的第二条)。

  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    311 引用 • 546 回帖 • 32 关注
  • ab
    1 引用 • 1 回帖
  • cookie分流
    1 引用 • 1 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • alanfans

    我就喜欢这样的干货

推荐标签 标签

  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis,2010 年这个项目由 Apache 软件基金会迁移到了 google code,并且改名为 MyBatis ,2013 年 11 月再次迁移到了 GitHub。

    170 引用 • 414 回帖 • 429 关注
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态;标准是由主流手机厂商组成的快应用联盟联合制定;快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台;以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖 • 2 关注
  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    11 引用 • 5 回帖 • 565 关注
  • 以太坊

    以太坊(Ethereum)并不是一个机构,而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity,使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物:投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖 • 1 关注
  • 外包

    有空闲时间是接外包好呢还是学习好呢?

    26 引用 • 232 回帖 • 7 关注
  • Vim

    Vim 是类 UNIX 系统文本编辑器 Vi 的加强版本,加入了更多特性来帮助编辑源代码。Vim 的部分增强功能包括文件比较(vimdiff)、语法高亮、全面的帮助系统、本地脚本(Vimscript)和便于选择的可视化模式。

    27 引用 • 66 回帖
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    311 引用 • 546 回帖 • 32 关注
  • Sphinx

    Sphinx 是一个基于 SQL 的全文检索引擎,可以结合 MySQL、PostgreSQL 做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。

    1 引用 • 181 关注
  • Logseq

    Logseq 是一个隐私优先、开源的知识库工具。

    Logseq is a joyful, open-source outliner that works on top of local plain-text Markdown and Org-mode files. Use it to write, organize and share your thoughts, keep your to-do list, and build your own digital garden.

    4 引用 • 55 回帖 • 9 关注
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖 • 2 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 635 关注
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    710 引用 • 1173 回帖 • 171 关注
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖 • 5 关注
  • 阿里云

    阿里云是阿里巴巴集团旗下公司,是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务,以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    89 引用 • 345 回帖
  • 博客

    记录并分享人生的经历。

    270 引用 • 2386 回帖
  • IBM

    IBM(国际商业机器公司)或万国商业机器公司,简称 IBM(International Business Machines Corporation),总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国,是全球最大的信息技术和业务解决方案公司,拥有全球雇员 30 多万人,业务遍及 160 多个国家和地区。

    16 引用 • 53 回帖 • 123 关注
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议,它实现了浏览器与服务器之间的全双工通信(full-duplex)。

    48 引用 • 206 回帖 • 398 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 42 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

    22 引用 • 31 回帖 • 3 关注
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 92 关注
  • 智能合约

    智能合约(Smart contract)是一种旨在以信息化方式传播、验证或执行合同的计算机协议。智能合约允许在没有第三方的情况下进行可信交易,这些交易可追踪且不可逆转。智能合约概念于 1994 年由 Nick Szabo 首次提出。

    1 引用 • 11 回帖 • 7 关注
  • Gzip

    gzip (GNU zip)是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件,它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式,或者说一种文件格式。

    9 引用 • 12 回帖 • 111 关注
  • 脑图

    脑图又叫思维导图,是表达发散性思维的有效图形思维工具 ,它简单却又很有效,是一种实用性的思维工具。

    21 引用 • 58 回帖
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展,它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖 • 5 关注
  • 周末

    星期六到星期天晚,实行五天工作制后,指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖
  • 房星科技

    房星网,我们不和没有钱的程序员谈理想,我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源,遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 559 关注
  • Thymeleaf

    Thymeleaf 是一款用于渲染 XML/XHTML/HTML5 内容的模板引擎。类似 Velocity、 FreeMarker 等,它也可以轻易的与 Spring 等 Web 框架进行集成作为 Web 应用的模板引擎。与其它模板引擎相比,Thymeleaf 最大的特点是能够直接在浏览器中打开并正确显示模板页面,而不需要启动整个 Web 应用。

    11 引用 • 19 回帖 • 319 关注