使用 nginx 进行 ab 站点的过程简单分析

本贴最后更新于 2675 天前,其中的信息可能已经沧海桑田

由于业务需要,在官网上部署两套前端页面,通过特定的字段(例如手机号码)进行分流,来达到 a/b 站的要求,后续对 a/b 站最终数据进行分析,选出哪部分页面对用户体验来说会更优秀。

nginx 请求分流

考虑利用 nginx 的分流功能:http://neoremind.com/2012/03/nginx%E6%A0%B9%E6%8D%AEcookie%E5%88%86%E6%B5%81/

在 mac 下使用 brew install nginx,安装完成后的目录为:/usr/local/Cellar/nginx/1.10.3(根据不同的版本会有所不同)/,nginx 配置文件所在目录:/usr/local/etc/nginx。

在 Postman 中需要安装下载 Postman Interceptor 扩展程序,此时就可以通过发送 Headers 中的内容,来达到发送 Cookie 的目的:

[9D71E1F0-1777-4E15-876F-E3C74DD6F6C9.png](http://pic.findyou.xin/e84e776bb97f44d992454a680cb6daf7.png)

在 nginx 中,可以根据该 cookie 进行匹配判断,决定要发送的服务器 upstream:

match cookie
set $stream stream0;
if ($http_cookie ~* "phone=([^;]+)(1$)"){
    set $stream stream1;
}
if ($http_cookie ~* "phone=([^;]+)(2$)"){
    set $stream stream2;
}

在上面的示例中,仅能匹配单个 http_cookie 的最后一行,如果我们想要根据手机尾号进行用户划分的话,必须要匹配多个属性:

match cookie
        set $stream stream0;
        if ($http_cookie ~* "phone=([^;]+)([5-9]$)"){
            set $stream stream1;
        }
        if ($http_cookie ~* "phone=([^;]+)([0-4]$)"){
            set $stream stream2;
        }

进行范围查找,如果在 5-9 之间,对应 stream1,否则对应 stream2,如果没有该 cookie,需要给定一个默认值 stream0。

上述情况出现在用户已经登录的情况下,如果请求是处于注册/登录的过程中,此时并没有 cookie 数据,但这两种操作都是通过 POST 请求,在 form 表单中存在对应的字段手机号(phone),考虑是否可以根据 request body 中的字段进行填充。

nginx 中的变量介绍主要如链接中:https://moonbingbing.gitbooks.io/openresty-best-practices/content/openresty/inline_var.html

可以在日志中将 request_body 打印出来,只要加上 request_body 属性即可,如果我们加上的数据为“phone=111”

------WebKitFormBoundaryq2rbBAdTrAuTi6IG\x0D\x0AContent-Disposition: form-data; name=\x22phone\x22\x0D\x0A\x0D\x0A111\x0D\x0A------WebKitFormBoundaryq2rbBAdTrAuTi6IG--\x0D\x0A

可见这些字段是已经经过了额外的转义处理,如果想要分析 request body 中的字段比较麻烦,nginx 只有在修改插件运行的情况下(对 nginx 本身进行编程),才能访问到 request body 中的字段。

因此我们的方案调整为,注册/登录完成后写 Cookie,但不能马上刷新缓存,但可以通过页面上的 ajax 请求 success 回调,去强制重刷整个页面来获取 a/b 站点对应 js/css 资源,但可能造成额外的流量损耗。

内部域名解析/转换

但我们部署的服务理论上是在两台 docker 容器上,并无固定 ip,是通过不同的内部域名进行处理的,因此在 upstream 出现域名时,就会发生无法转发的问题,即定义的 http://${url}并不进行替换。

upstream main {
      server web1.local:80;
      server web2.local:80;
      server web3.local:80;
    }

通过问题查找,参考下面的一篇文章:

曾经尝试了第一种方式,设置 proxy_set_header,并没有起作用:

    proxy_set_header Host            $host;
    proxy_set_header X-Forwarded-For $remote_addr;

第二种方式理论上应该可行,是通过开放多个端口的方式,建立几个 virtual server,但由于我们将系统部署在 lain(docker 的一种实践)上,限制条件比较多,只能开放一个 web 端口,因此该方式在 lain 环境上不可行。

server {
  listen      8001 default_server;
  server_name web1.example.com;
  location / {
    proxy_pass       http://web1.local:80;
    proxy_set_header Host web1.local:80;
  }
}

server {
  listen      8002 default_server;
  server_name web2.example.com;
  location / {
    proxy_pass       http://web2.local:80;
    proxy_set_header Host web2.local:80;
  }
}

server {
  listen      8003 default_server;
  server_name web3.example.com;
  location / {
    proxy_pass       http://web3.local:80;
    proxy_set_header Host web3.local:80;
  }
}

upstream main {
  server 127.0.0.1:8001;
  server 127.0.0.1:8002;
  server 127.0.0.1:8003;
}

server {
  listen      80;
  server_name example.com;
  location / {
    proxy_pass http://main;
  }
}

Tengine 提供此支持,http://tengine.taobao.org/document_cn/http_upstream_dynamic_cn.html,但通过测试发现 tengine 支持的这种方式可能只能利用外网可解析的域名来处理,如果是内网域名仍然是与没有配置该模块的结果相同。

upstream stream80 {
        dynamic_resolve fallback=next fail_timeout=30s;
        #server www.xxx.cn;
        server xxx.xxapp.xyz;
    }

转移到 xxx.xxapp.xyz,此为内部解析的域名:

[Snip20170302_2.png](http://pic.findyou.xin/38257ca397a84fc896e0d9f617f99cc0.png)

我们将转移到 www.xxx.cn,会发现已经进行了转换(错误是由于 servername 名称不匹配)

[Snip20170302_2.png](http://pic.findyou.xin/ba9885a13dcb4797ab9f50e473deae58.png)

基本判断 tengine 的这个模块应该是可用的,但域名解析可能用到了一些特殊的条件或算法,导致无法解析我们内网的域名,所以在只能部署单个对外端口的 docker 容器下,暂时不能解决内网 upstream 带 server_name 的问题(最终考虑将其部署在虚拟机上,开启多个端口来解决该问题,也就是参考链接中的第二条)。

  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    311 引用 • 546 回帖 • 1 关注
  • ab
    1 引用 • 1 回帖
  • cookie分流
    1 引用 • 1 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • alanfans

    我就喜欢这样的干货

推荐标签 标签

  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖
  • HTML

    HTML5 是 HTML 下一个的主要修订版本,现在仍处于发展阶段。广义论及 HTML5 时,实际指的是包括 HTML、CSS 和 JavaScript 在内的一套技术组合。

    103 引用 • 294 回帖
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大,比用其他编程程序编辑的程序效率更高,因为它使用了 Linux/Unix 下的命令。

    122 引用 • 73 回帖 • 1 关注
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统(DBMS),它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的,并于 1988 年推出了第一个 OS/2 版本。

    19 引用 • 31 回帖 • 2 关注
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    14 引用 • 7 回帖
  • Maven

    Maven 是基于项目对象模型(POM)、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    186 引用 • 318 回帖 • 335 关注
  • JetBrains

    JetBrains 是一家捷克的软件开发公司,该公司位于捷克的布拉格,并在俄国的圣彼得堡及美国麻州波士顿都设有办公室,该公司最为人所熟知的产品是 Java 编程语言开发撰写时所用的集成开发环境:IntelliJ IDEA

    18 引用 • 54 回帖
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 181 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖
  • Mobi.css

    Mobi.css is a lightweight, flexible CSS framework that focus on mobile.

    1 引用 • 6 回帖 • 708 关注
  • CentOS

    CentOS(Community Enterprise Operating System)是 Linux 发行版之一,它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    6888 引用 • 31055 回帖 • 230 关注
  • TGIF

    Thank God It's Friday! 感谢老天,总算到星期五啦!

    285 引用 • 4482 回帖 • 660 关注
  • Ruby

    Ruby 是一种开源的面向对象程序设计的服务器端脚本语言,在 20 世纪 90 年代中期由日本的松本行弘(まつもとゆきひろ/Yukihiro Matsumoto)设计并开发。在 Ruby 社区,松本也被称为马茨(Matz)。

    7 引用 • 31 回帖 • 189 关注
  • sts
    2 引用 • 2 回帖 • 164 关注
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用,支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    16 引用 • 7 回帖 • 1 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架,使用 Node.js 编写。

    21 引用 • 140 回帖 • 14 关注
  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    34 引用 • 37 回帖 • 506 关注
  • WebComponents

    Web Components 是 W3C 定义的标准,它给了前端开发者扩展浏览器标签的能力,可以方便地定制可复用组件,更好的进行模块化开发,解放了前端开发者的生产力。

    1 引用 • 15 关注
  • OnlyOffice
    4 引用 • 16 关注
  • ActiveMQ

    ActiveMQ 是 Apache 旗下的一款开源消息总线系统,它完整实现了 JMS 规范,是一个企业级的消息中间件。

    19 引用 • 13 回帖 • 643 关注
  • LeetCode

    LeetCode(力扣)是一个全球极客挚爱的高质量技术成长平台,想要学习和提升专业能力从这里开始,充足技术干货等你来啃,轻松拿下 Dream Offer!

    209 引用 • 72 回帖
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发,并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例: https://wide.b3log.org

    30 引用 • 218 回帖 • 611 关注
  • Caddy

    Caddy 是一款默认自动启用 HTTPS 的 HTTP/2 Web 服务器。

    10 引用 • 54 回帖 • 140 关注
  • 微软

    微软是一家美国跨国科技公司,也是世界 PC 软件开发的先导,由比尔·盖茨与保罗·艾伦创办于 1975 年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖
  • 旅游

    希望你我能在旅途中找到人生的下一站。

    86 引用 • 896 回帖
  • H2

    H2 是一个开源的嵌入式数据库引擎,采用 Java 语言编写,不受平台的限制,同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式,可以兼容一些主流的数据库,因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 649 关注