|
声明：
此篇文章，涉及到东西比较多，文章比较长，适合耐心的童鞋们阅读，生产环境部署可参考此篇文章。 Codis 并不太适合 key 少，但是 value 特别大的应用， 而且你的 key 越少， value 越大，最后就会退化成单个 redis 的模型 （性能还不如 raw redis），所以 Codis 更适合海量 Key, value比较小 （<= 1 MB) 的应用。 codis-proxy 提供连接集群redis服务的入口 codis-redis-group 实现redis读写的水平扩展，高性能 codis-redis 实现redis实例服务，通过codis-ha实现服务的高可用
实验环境：
网络拓扑图：https://www.gliffy.com/go/publish/4767058
群集架构图：https://www.gliffy.com/go/publish/4640202
机器与应用列表： System version: CentOS 6.5
IP: 192.168.43.130 hostname: vmware-130 apps: keepalived + haproxy Master, zookeeper_1, codis_proxy_1, codis_config, codis_server_master,slave
IP: 192.168.43.131 hostname: vmware-131 apps: zookeeper_2, codis_proxy_2, codis_server_master,slave
IP: 192.168.43.132 hostname: vmware-132 apps: keepalived + haproxy Backup, zookeeper_3, codis_proxy_3, codis_server_master,slave
VIP: 192.168.43.100 Port: 45001
备注：由于是虚拟测试环境，非生产环境，所以一台机器跑多个应用，如应用于生产环境，只需把应用分开部署到相应机器上即可。
一、初始化CentOS系统
1. 使用镜像站点配置好的yum安装源配置文件 cd /etc/yum.repos.d/ /bin/mv CentOS-Base.repo CentOS-Base.repo.bak wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
接下来执行如下命令，检测yum是否正常 yum clean all #清空yum缓存 yum makecache #建立yum缓存
然后使用如下命令将系统更新到最新 rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY* #导入签名KEY到RPM yum upgrade -y #更新系统内核到最新
2. 关闭不必要的服务 for sun in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig --level 3 $sun off;done for sun in `chkconfig --list|grep 5:on|awk '{print $1}'`;do chkconfig --level 5 $sun off;done for sun in crond rsyslog sshd network;do chkconfig --level 3 $sun on;done for sun in crond rsyslog sshd network;do chkconfig --level 5 $sun on;done
3. 安装依赖包 yum install -y gcc make g++ gcc-c++ automake lrzsz openssl-devel zlib-* bzip2-* readline* zlib-* bzip2-*
4. 创建软件存放目录 mkdir /data/packages
5. 软件包版本以及下载地址： jdk1.8.0_45 zookeeper-3.4.6 go1.4.2 pcre-8.37 haproxy-1.4.22 keepalived-1.4.26
cd /data/packages wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz
通过浏览器自行下载: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html http://www.haproxy.org/download/1.4/src/haproxy-1.4.26.tar.gz
6. 重启系统 [root@vmware-130 ~]# init 6
二、部署Zookeeper群集
1.配置hosts文件 ( zookeeper节点机器上配置 ) [root@vmware-130 ~]# vim /etc/hosts 192.168.43.130 vmware-130 192.168.43.131 vmware-131 192.168.43.132 vmware-132 2.安装java 坏境 ( zookeeper节点机器上配置 ) [root@vmware-130 ~]# cd /data/packages [root@vmware-130 packages ]# tar zxvf jdk-8u45-linux-x64.tar.gz -C /usr/local [root@vmware-130 packages ]# cd /usr/local [root@vmware-130 local ]# ln -s jdk1.8.0_45 java
3. 安装Zookeeper ( zookeeper节点机器上配置 ) cd /data/packages tar zxvf zookeeper-3.4.6.tar.gz -C /usr/local ln -s zookeeper-3.4.6 zookeeper cd /usr/local/zookeeper/ 4.设置环境变量 ( zookeeper节点机器上配置 ) vim /etc/profile JAVA_HOME=/usr/local/java JRE_HOME=$JAVA_HOME/jre ZOOKEEPER_HOME=/usr/local/zookeeper JAVA_FONTS=/usr/local/java/jre/lib/fonts CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME
#生效环境变量 source /etc/profile 5. 修改zookeeper配置文件 ( zookeeper节点机器上配置 ) vi /usr/local/zookeeper/conf/zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 clientPort=2181 autopurge.snapRetainCount=500 autopurge.purgeInterval=24 dataDir=/data/zookeeper/data dataLogDir=/data/zookeeper/logs server.1=192.168.43.130:2888:3888 server.2=192.168.43.131:2888:3888 server.3=192.168.43.132:2888:3888
#创建数据目录和日志目录 ( zookeeper节点机器上配置 ) mkdir -p /data/zookeeper/data mkdir -p /data/zookeeper/logs 6. 在zookeeper节点机器上创建myid文件，节点对应id 在43.130机器上创建myid，并设置为1与配置文件zoo.cfg里面server.1对应。 echo "1" > /data/zookeeper/data/myid
在43.131机器上创建myid，并设置为1与配置文件zoo.cfg里面server.2对应。 echo "2" > /data/zookeeper/data/myid
在43.132机器上创建myid，并设置为1与配置文件zoo.cfg里面server.3对应。 echo "3" > /data/zookeeper/data/myid 7. 启动zookeeper服务, 以vmware-130为例： [root@vmware-130 ~]# zkServer.sh start JMX enabled by default Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Starting zookeeper ... STARTED 8.检查zookeeper所有节点状态 [root@vmware-130 ~]# zkServer.sh status
[root@vmware-131 ~]# zkServer.sh status
[root@vmware-132 ~]# zkServer.sh status
二、部署Codis群集
1. 安装 go 语言环境 ( 所有codis机器上配置 ) /data/packages tar zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local
2. 添加GO环境变量，其他环境变量不变。 vim /etc/profile GOROOT=/usr/local/go GOPATH=/usr/local/codis PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME GOROOT GOPATH
3. 安装codis ( 所有codis机器上配置 ) yum install -y git go get github.com/wandoulabs/codis cd $GOPATH/src/github.com/wandoulabs/codis
#执行编译测试脚本，编译go和reids。 ./bootstrap.sh make gotest
# 将编译好后，把bin目录和一些脚本复制过去/usr/local/codis目录下： mkdir -p /usr/local/codis/{logs,conf,scripts} #创建codis日志，配置文件，脚本目录 mkdir -p /data/codis_server/{logs,conf,data} #创建codis_server 日志，配置文件，数据目录 cp -rf bin /usr/local/codis/ #复制bin目录到自定义的安装目录 cp sample/config.ini /usr/local/codis/conf/ #复制模板配置文件到安装目录 cp sample/redis_conf/6381.conf /data/codis_server/conf/ #复制codis_server配置文件到配置目录 cp -rf /usr/local/codis/src/github.com/wandoulabs/codis/sample/usage.md /usr/local/codis/scripts/ #复制模板启动流程文件到脚本目录下
4. 配置codis_proxy_1 ( vmware-130 机器上配置) cd /usr/local/codis vim config.ini zk=vmware-130:2181,vmware-131:2181,vmware-132:2181 product=codis proxy_id=codis_proxy_1 net_timeout=5 dashboard_addr=192.168.43.130:18087 coordinator=zookeeper
配置codis_proxy_1 ( vmware-131 机器上配置) cd /usr/local/codis vim config.ini zk=vmware-130:2181,vmware-131:2181,vmware-132:2181 product=codis proxy_id=codis_proxy_2 net_timeout=5 dashboard_addr=192.168.43.130:18087 coordinator=zookeeper 配置codis_proxy_1 ( vmware-132 机器上配置) cd /usr/local/codis vim config.ini zk=vmware-130:2181,vmware-131:2181,vmware-132:2181 product=codis proxy_id=codis_proxy_3 net_timeout=5 dashboard_addr=192.168.43.130:18087 coordinator=zookeeper 5. 修改配置文件，启动codis-server服务. ( 所有codis-server机器上 ) cd /data/codis_server/conf/ mv 6381.conf 6379.conf vim 6379.conf 修改如下参数: (生产环境，参数适当进行调整) daemonize yes pidfile /var/run/redis_6379.pid port 6379 logfile "/data/codis_server/logs/codis_6379.log" save 900 1 save 300 10 save 60 10000 dbfilename 6379.rdb dir /data/codis_server/data
复制6380配置文件 cp 6379.conf 6380.conf sed -i 's/6379/6380/g' 6380.conf
添加内核参数 echo "vm.overcommit_memory = 1" >> /etc/sysctl.conf sysctl -p
启动codis-server服务 ( 所有codis-server机器上 ) /usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf /usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf
6. 查看一下启动流程：( 以vmware-130机器为例 ) [root@vmware-130 ~]# cat /usr/local/codis/scripts/usage.md 0. start zookeeper //启动zookeeper服务
7. 创建dashboard启动脚本。可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 只需在一台机器上启动即可。43.130上启动 ) [root@vmware-130 ~]# vim /usr/local/codis/scripts/start_dashboard.sh #!/bin/sh CODIS_HOME=/usr/local/codis nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard --addr=:18087 --http-log=$CODIS_HOME/logs/requests.log &>/dev/null &
启动dashboard [root@vmware-130 ~]# cd /usr/local/codis/scripts/ [root@vmware-130 scripts ]# sh start_dashboard.sh
8. 创建初始化槽脚本，可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 在任一台机器上机器上配置，此环境在43.130机器上配置 ) [root@vmware-130 ~]# vim /usr/local/codis/scripts/initslot.sh #!/bin/sh CODIS_HOME=/usr/local/codis echo "slots initializing..." $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f echo "done"
执行初始化槽脚本： [root@vmware-130 ~]# cd /usr/local/codis/scripts [root@vmware-130 scripts ]# sh initslot.sh
9. 配置codis-server,启动codis-server master , slave 实例 ，以上步骤已经启动，不在描述。
10. 通过管理页面添加组ID，为组添加主从实例，一个组里只能有一个master，设置slot分片数据等。 http://192.168.43.130:18087（最好用Firefox浏览器或者谷歌浏览器，别的浏览器比较坑爹！！！） 如下图所示：
接下来，依次添加 Server Group 1,2,3 ( 共添加3组 )
添加好后，图为下：
接下来添加codis-server实例包括master ,slave
全部添加完成后，如下图所示：
为组分配Slot(槽)范围 group_1 0 - 511 group_2 512 - 1023 group_3 暂时不分配，以下测试中，用来迁移其他组使用。
如下图操作所示：group_1 ( 0 - 511 )
添加成功后，页面会显示success窗口，如下图所示。
如下图操作所示：group_2 ( 512 - 1023 )
添加成功后，页面会显示success窗口，如下图所示。
查看整个Slots分布情况: 选择 Slots Status 或者 右上角那个 Slots 都可以看到分布情况。
11. 配置codis-ha服务，主从自动切换。( 随便找个节点机器上配置即可,此环境中在43.131机器上配置 ) [root@vmware-131 ~]# go get github.com/ngaut/codis-ha [root@vmware-131 ~]# cd /usr/local/codis/src/github.com/ngaut [root@vmware-131 ~]# cp -r codis-ha /usr/local/ [root@vmware-131 codis-ha ]# go build
创建启动脚本，启动codis-ha服务 [root@vmware-131 ~]# vim /usr/local/codis-ha/start_codis_ha.sh #!/bin/sh ./codis-ha --codis-config=192.168.43.130:18087 -log-level="info" --productName=vmware-Codis &> ./logs/codis-ha.log &
创建日志目录 [root@vmware-131 ~]# mkdir /usr/local/codis-ha/logs [root@vmware-131 ~]# cd /usr/local/codis-ha/ [root@vmware-131 codis-ha ]# sh start_codis_ha.sh
12. 修改start_proxy.sh，启动codis-proxy服务 ( 以130机器配置为例，其余codis-proxy只需修改下名称即可。) [root@vmware-130 scripts]# vim /usr/local/codis/scripts/start_proxy.sh #!/bin/sh [root@vmware-130 scripts]# vim /usr/local/codis/scripts/set_proxy_online.sh
启动codis-proxy ./start_proxy.sh
上线codis_proxy_1 ./set_proxy_online.sh
备注：其他codis_proxy只需修改start_proxy.sh和set_proxy_online.sh启动脚本里面的codis_proxy_1名称即可。
13. 通过redis-cli客户端直接访问codis-proxy,写入数据，看组里面的master和slave 是否同步。 [root@vmware-130 scripts]# redis-cli -p 19000 127.0.0.1:19000> set mike liweizhong 通过管理界面看到如下图所示：
codis-server master,slave 同步数据正常，slots槽分片数据正常。
接下来在通过codis-proxy去取数据看看。 [root@vmware-130 scripts]# redis-cli -p 19000
以下用shell简单的写了个插入redis数据脚本，此脚本会插入20W个key,每运行一次，需要调整INSTANCE_NAME参数里面的数字，才可重新插入新数据。仅供测试使用： [root@vmware-132 scripts]# cat redis-key.sh REDISCLI="redis-cli -h 192.168.43.131 -p 19000 -n 0 SET" while [ $ID -le 50000 ] 执行插入脚本 [root@vmware-132 scripts]# sh redis-key.sh 通过管理界面，我们可以看到如下图所示：
数据插完后，最终如下图所示：
三、部署Keepalived + haproxy 高可用负载均衡
安装haproxy、keepalived (43.130、43.132 机器上操作) 1.查看系统内核是否支持 tproxy 2.源码安装pcre-8.01 [root@vmware-130 ~]# tar -zxf pcre-8.37.tar.gz && cd pcre-8.37 3.安装 haproxy-1.4.22 [root@vmware-130 ~]# cd /data/packages [root@vmware-130 ~]# tar xf haproxy-1.4.26.tar.gz [root@vmware-130 haproxy-1.4.26 ]# mkdir -p /data/haproxy/{conf,run,logs}
4. 创建haproxy启动脚本 [root@vmware-130 ~]# vim /etc/init.d/haproxy
备注：此脚本stop的时候有问题，有待解决。
#添加haproxy服务 [root@vmware-130 ~]# echo "net.ipv4.ip_nonlocal_bind = 1" >> /etc/rsysctl.conf [root@vmware-130 ~]# sysctl -p [root@vmware-130 ~]# chmod 755 /etc/init.d/haproxy [root@vmware-130 ~]# chkconfig --add haproxy [root@vmware-130 ~]# chkconfig haproxy on
5.安装keepalived [root@vmware-130 ~]# cd /data/packages [root@vmware-130 ~]# tar zxvf keepalived-1.2.16.tar.gz [root@vmware-130 ~]# cd keepalived-1.2.16 [root@vmware-130 keepalived-1.2.16 ]# ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-504.16.2.el6.x86_64/ \\若/usr/src/kernels/目录下为空，那么安装kernel-headers和kernel-devel包 yum install -y kernel-header kernel-devel [root@vmware-130 keepalived-1.2.16 ]# make && make install
6.配置keepalived,添加keepalived 服务 [root@vmware-130 ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ [root@vmware-130 ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ [root@vmware-130 ~]# mkdir -p /data/keepalived/{conf,scripts} [root@vmware-130 ~]# cp /usr/local/sbin/keepalived /usr/sbin/ [root@vmware-130 ~]# chkconfig --add keepalived [root@vmware-130 ~]# chkconfig keepalived on
7. 配置haproxy.cfg配置文件( 43.130, 43.132 配置，haproxy.cfg配置文件完全一样 ) [root@vmware-130 ~]# vim /usr/local/haproxy/conf/haproxy.cfg log 127.0.0.1 local0 err stats admin if TRUE
8. 配置keepalived.conf配置文件 ( 43.130 上配置，43.132备用配置主要修改参数已经标注 ) [root@vmware-130 ~]# vim /data/keepalived/conf/keepalived.conf ! Configuration File for keepalived priority 100 #备用为90 \\拷贝主上面的keepalived.conf到从上，只需修改priority值参数即可。
创建/data/keepalived/scripts/mail_notify.py邮件通知程序： 详细请访问：http://liweizhong.blog.51cto.com/1383716/1639917 \\最后修改下通知信息为英文，中文内容可能会投递失败。
# 配置haproxy日志 [root@vmware-130 ~]# vim /etc/rsyslog.d/haproxy.conf $ModLoad imudp $UDPServerRun 514 local3.* /data/haproxy/logs/haproxy.log local0.* /data/haproxy/logs/haproxy.log [root@vmware-130 ~]# vim /etc/sysconfig/rsyslog SYSLOGD_OPTIONS="-c 2 -r -m 0" [root@vmware-130 ~]# service rsyslog restart
9. 启动haproxy、keepalived服务。(先启动两个haproxy服务，然后在依次启动master、backup上的keepalived服务) [root@vmware-130 ~]# service haproxy start ( 先启动 haproxy 服务 )
[root@vmware-130 ~]# service keepalived start
10. 测试redis-cli客户端访问 [root@vmware-130 ~]# redis-cli -h 192.168.43.130 -p 45001
备注：redis-cli 命令，codis里面是没有的，我是安装redis服务的，只是用codis而已。
到这里，整个架构已经全部部署完成啦！！！
四、Codis 群集架构故障测试
备注：由于本环境在本地虚拟机上部署，占不涉及到性能测试。codis性能测试可使用redis-benchmark工具
1.停止任意zookeeper节点，检查codis-proxy，dashboard是否正常. [root@vmware-132 scripts]# zkServer.sh status
检查zookeeper其他节点是否重新选取 leader。 [root@vmware-131 ~]# zkServer.sh status [root@vmware-130 ~]# zkServer.sh status
redis客户端是否能正常访问到codis-proxy。 [root@vmware-130 logs]# redis-cli -h 192.168.43.100 -p 45001
dashboard管理界面是否正常。 打开浏览器，访问 http://192.168.43.130:18087/admin/
2.停止group master,检查group slave是否自动切换主
接下来，我们开始来模拟vmware-130机器上的codis-server master 6379端口挂掉
停止codis-master后，检查codis-ha日志输出如下信息:
打开管理界面，查看到如下信息：
客户端写入新数据，切换后的主是否有新key增加。 [root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001 打开管理界面，查看到keys增加两个。
接下来我们恢复vmware-130 codis-server 6379 [root@vmware-130 ~]# /usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf [root@vmware-130 ~]# ps -ef |grep codis-server
备注：当master挂掉时候，redis-ha检测到自动将slave切换为master,但是master恢复后，仍为offline，需要将其删除在添加，就可以成为slave.
按备注那样，我们需要将原来的master 6379先删除，然后再次添加。操作完成后，如下图所示：
3.通过dashboard管理界面添加codis-server组，在线迁移、扩展等。
添加新组，添加master,slave . \\此步省略，之前已经添加好group_3
通过Migrate Slot(s)选项，我们来迁移group_1组到group_3组： 为了模拟迁移是否会影响到业务，我在一台机器开启插入数据脚本， [root@vmware-132 scripts]# sh redis-key.sh \\脚本里面连接codis群集请修改为虚拟IP. 现在又客户端在实时插入数据，接下来通过管理界面操作步骤如下：
目前客户端在不断插入新数据，后端我们又在迁移组数据，那么我们现在在来get数据看看是否正常。 [root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
可以看到后端在迁移数据，对业务访问不受影响。这点非常赞。
迁移完成后，如下图所示：
4.模拟codis-proxy节点挂掉，看haproxy服务是否会剔除节点。 我们仍继续用脚本插入数据，然后停止vmware-131上面的codis-proxy服务。 [root@vmware-132 scripts]# sh redis-key.sh
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001 codis-proxy代理节点挂掉一个，haproxy自动剔除此节点，插入数据脚本由于之前连接的socket挂掉，会中断重新连接新的socket. 业务正常访问。 以下为haproxy监控页面信息：
codis管理界面我们可以看到codis_proxy_2已经没有显示出来：
当codis_proxy_2恢复的时候，haproxy又自动加入此节点，并正常提供服务。
codis管理界面又正常显示codis_proxy_2节点。
5.keepalived+haproxy群集故障测试 一、停止haproxy-master , 观察/var/log/message日志 照样启动redis-key.sh插入数据脚本 [root@vmware-132 scripts]# sh redis-key.sh 停止 haproxy master
以下为截取到的日志信息: keepalived master 130 tail -f /var/log/message
keepalived backup 132 tail -f /var/log/message
插入数据脚本会出现中断，然后又正常插入数据。
虚拟IP出现一次掉包，然后马上恢复了。
二、恢复haproxy-master, 观察/var/log/message日志，看是否被抢占，正常情况主haproxy恢复后，不会进行切换，防止业务来回切换。。。 接下来我们恢复haproxy-master [root@vmware-130 logs]# service haproxy start tail -f /var/log/message
以上截图我们可以看到恢复haproxy-master后，VIP不会进行漂移，keepalived进入BACKUP状态，这是因为设置了nopreempt参数，不抢占，防止业务来回切换。。。
三、停止haproxy-backup, 观察 /var/log/message日志，是否进行切换。 以上我们模拟了haproxy-master故障和恢复，现在我们再次模拟现在的haproxy-master也就是原先的haproxy-backup.
模拟haproxy-backup进程挂掉：
keepalived master 130 tail -f /var/log/message
keepalived backup 132 tail -f /var/log/message VIP进行了漂移，keepalived也切换身份。 再次恢复haproxy-backup ,VIP不进行漂移，与以上类似，不在描述。
四、模拟keepalived进程挂掉
keepalived-master 挂掉，keepalived主备切换，VIP进行漂移。 当keepalived-master恢复时，直接进入BACKUP状态，不进行主备切换，VIP不漂移。 |
本贴最后更新于 3006 天前，其中的信息可能已经时移世异
欢迎来到这里！
我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。
注册 关于