Codis 高可用负载均衡群集的搭建与使用

本贴最后更新于 2948 天前,其中的信息可能已经时移世异

声明:

 

此篇文章,涉及到东西比较多,文章比较长,适合耐心的童鞋们阅读,生产环境部署可参考此篇文章。

Codis 并不太适合 key 少,但是 value 特别大的应用, 而且你的 key 越少, value 越大,最后就会退化成单个 redis 的模型 (性能还不如 raw redis),所以 Codis 更适合海量 Key, value比较小 (<= 1 MB) 的应用。

codis-proxy 提供连接集群redis服务的入口

codis-redis-group 实现redis读写的水平扩展,高性能

codis-redis 实现redis实例服务,通过codis-ha实现服务的高可用


 

实验环境:

 

网络拓扑图:https://www.gliffy.com/go/publish/4767058

 wKioL1VDbUPyhODuAAIy6SWqEro675.jpg

 

群集架构图:https://www.gliffy.com/go/publish/4640202

wKiom1VDa-_gM9fgAAJ9-E6V57o869.jpg

 

 

 

机器与应用列表:

System version: CentOS 6.5

 

IP: 192.168.43.130    hostname: vmware-130  

apps: keepalived + haproxy Master,  zookeeper_1, codis_proxy_1, codis_config, codis_server_master,slave 

 

IP: 192.168.43.131    hostname: vmware-131  

apps: zookeeper_2, codis_proxy_2,   codis_server_master,slave

 

IP: 192.168.43.132    hostname: vmware-132  

apps: keepalived + haproxy Backup,   zookeeper_3, codis_proxy_3,   codis_server_master,slave

 

VIP: 192.168.43.100  Port: 45001

 

备注:由于是虚拟测试环境,非生产环境,所以一台机器跑多个应用,如应用于生产环境,只需把应用分开部署到相应机器上即可。

 

 

 

一、初始化CentOS系统

 

1. 使用镜像站点配置好的yum安装源配置文件

cd /etc/yum.repos.d/

/bin/mv CentOS-Base.repo CentOS-Base.repo.bak

wget http://mirrors.163.com/.help/CentOS6-Base-163.repo

 

接下来执行如下命令,检测yum是否正常

yum clean all           #清空yum缓存

yum makecache      #建立yum缓存

 

然后使用如下命令将系统更新到最新

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*     #导入签名KEY到RPM

yum  upgrade -y                                                        #更新系统内核到最新

 

2. 关闭不必要的服务

for sun in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig --level 3 $sun off;done

for sun in `chkconfig --list|grep 5:on|awk '{print $1}'`;do chkconfig --level 5 $sun off;done

for sun in crond rsyslog sshd network;do chkconfig --level 3 $sun on;done

for sun in crond rsyslog sshd network;do chkconfig --level 5 $sun on;done

 

3. 安装依赖包

yum install -y gcc make g++ gcc-c++ automake lrzsz openssl-devel zlib-* bzip2-* readline* zlib-* bzip2-*

 

4. 创建软件存放目录

mkdir /data/packages

 

5. 软件包版本以及下载地址:

jdk1.8.0_45

zookeeper-3.4.6

go1.4.2

pcre-8.37

haproxy-1.4.22

keepalived-1.4.26

 

cd /data/packages

wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
wget http://golangtc.com/static/go/go1.4.2.linux-amd64.tar.gz
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.37.tar.gz

wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz

 

通过浏览器自行下载: 

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

http://www.haproxy.org/download/1.4/src/haproxy-1.4.26.tar.gz 

 

6. 重启系统 

[root@vmware-130 ~]# init 6

 

 

 

二、部署Zookeeper群集

 

1.配置hosts文件 ( zookeeper节点机器上配置 )

[root@vmware-130 ~]#  vim /etc/hosts

192.168.43.130    vmware-130

192.168.43.131    vmware-131

192.168.43.132    vmware-132

2.安装java 坏境  ( zookeeper节点机器上配置 )

[root@vmware-130 ~]# cd /data/packages

[root@vmware-130 packages ]# tar zxvf jdk-8u45-linux-x64.tar.gz -C /usr/local

[root@vmware-130 packages ]# cd /usr/local

[root@vmware-130 local ]# ln -s jdk1.8.0_45 java

 

3. 安装Zookeeper  ( zookeeper节点机器上配置 )

cd /data/packages

tar zxvf zookeeper-3.4.6.tar.gz -C /usr/local

ln -s zookeeper-3.4.6 zookeeper

cd /usr/local/zookeeper/

4.设置环境变量  ( zookeeper节点机器上配置 )

vim /etc/profile

JAVA_HOME=/usr/local/java

JRE_HOME=$JAVA_HOME/jre

ZOOKEEPER_HOME=/usr/local/zookeeper

JAVA_FONTS=/usr/local/java/jre/lib/fonts 

CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin 

export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME

 

#生效环境变量

source /etc/profile

5. 修改zookeeper配置文件 ( zookeeper节点机器上配置 )

vi /usr/local/zookeeper/conf/zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

clientPort=2181

autopurge.snapRetainCount=500 

autopurge.purgeInterval=24

dataDir=/data/zookeeper/data

dataLogDir=/data/zookeeper/logs

server.1=192.168.43.130:2888:3888

server.2=192.168.43.131:2888:3888

server.3=192.168.43.132:2888:3888

 

#创建数据目录和日志目录 ( zookeeper节点机器上配置 )

mkdir -p /data/zookeeper/data

mkdir -p /data/zookeeper/logs

6. 在zookeeper节点机器上创建myid文件,节点对应id

在43.130机器上创建myid,并设置为1与配置文件zoo.cfg里面server.1对应。

echo "1" > /data/zookeeper/data/myid

 

在43.131机器上创建myid,并设置为1与配置文件zoo.cfg里面server.2对应。

echo "2" > /data/zookeeper/data/myid

 

在43.132机器上创建myid,并设置为1与配置文件zoo.cfg里面server.3对应。

echo "3" > /data/zookeeper/data/myid

7. 启动zookeeper服务, 以vmware-130为例:

 [root@vmware-130 ~]# zkServer.sh start

JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

8.检查zookeeper所有节点状态

[root@vmware-130 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

 

[root@vmware-131 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

 

[root@vmware-132 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader

 

 

二、部署Codis群集

 

1. 安装 go 语言环境 ( 所有codis机器上配置 )

/data/packages

tar zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local

 

2. 添加GO环境变量,其他环境变量不变。

vim /etc/profile

GOROOT=/usr/local/go

GOPATH=/usr/local/codis

PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin

export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME GOROOT GOPATH


source /etc/profile

 

3. 安装codis ( 所有codis机器上配置 )

yum install -y git

go get github.com/wandoulabs/codis

cd $GOPATH/src/github.com/wandoulabs/codis

 

#执行编译测试脚本,编译go和reids。 

./bootstrap.sh

make gotest

 

# 将编译好后,把bin目录和一些脚本复制过去/usr/local/codis目录下:

mkdir -p /usr/local/codis/{logs,conf,scripts}        #创建codis日志,配置文件,脚本目录

mkdir -p /data/codis_server/{logs,conf,data}         #创建codis_server 日志,配置文件,数据目录

cp -rf bin /usr/local/codis/                         #复制bin目录到自定义的安装目录

cp sample/config.ini /usr/local/codis/conf/          #复制模板配置文件到安装目录

cp sample/redis_conf/6381.conf /data/codis_server/conf/            #复制codis_server配置文件到配置目录

cp -rf /usr/local/codis/src/github.com/wandoulabs/codis/sample/usage.md /usr/local/codis/scripts/   #复制模板启动流程文件到脚本目录下

 

 

4. 配置codis_proxy_1  ( vmware-130 机器上配置)

cd /usr/local/codis

vim config.ini 

zk=vmware-130:2181,vmware-131:2181,vmware-132:2181                              

product=codis                                         

proxy_id=codis_proxy_1                                   

net_timeout=5

dashboard_addr=192.168.43.130:18087         

coordinator=zookeeper

 

配置codis_proxy_1  ( vmware-131 机器上配置)

cd /usr/local/codis

vim config.ini 

zk=vmware-130:2181,vmware-131:2181,vmware-132:2181                              

product=codis                                         

proxy_id=codis_proxy_2                                   

net_timeout=5

dashboard_addr=192.168.43.130:18087         

coordinator=zookeeper

配置codis_proxy_1  ( vmware-132 机器上配置)

cd /usr/local/codis

vim config.ini 

zk=vmware-130:2181,vmware-131:2181,vmware-132:2181                              

product=codis                                         

proxy_id=codis_proxy_3                                   

net_timeout=5

dashboard_addr=192.168.43.130:18087         

coordinator=zookeeper

5. 修改配置文件,启动codis-server服务. ( 所有codis-server机器上 )

cd /data/codis_server/conf/

mv 6381.conf 6379.conf

vim 6379.conf

修改如下参数: (生产环境,参数适当进行调整)

daemonize yes

pidfile /var/run/redis_6379.pid

port 6379

logfile "/data/codis_server/logs/codis_6379.log"

save 900 1

save 300 10

save 60 10000

dbfilename 6379.rdb

dir /data/codis_server/data

 

复制6380配置文件

cp 6379.conf 6380.conf

sed -i 's/6379/6380/g' 6380.conf

 

添加内核参数

echo "vm.overcommit_memory = 1" >>  /etc/sysctl.conf

sysctl -p

 

启动codis-server服务  ( 所有codis-server机器上 )

/usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf

/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf

 

 

6. 查看一下启动流程:( 以vmware-130机器为例 )

[root@vmware-130 ~]# cat /usr/local/codis/scripts/usage.md

0. start zookeeper                               //启动zookeeper服务
1. change config items in config.ini   //修改codis配置文件
2. ./start_dashboard.sh                       //启动 dashboard
3. ./start_redis.sh                                //启动redis实例
4. ./add_group.sh                               //添加redis组,一个redis组只能有一个master
5. ./initslot.sh                                     //初始化槽
6. ./start_proxy.sh                              //启动codis_proxy
7. ./set_proxy_online.sh                     //上线proxy项目
8. open browser to http://localhost:18087/admin     //访问管理界面
这只是一个参考,有些顺序不是必须的,但启动dashboard前,必须启动zookeeper服务,这是必须的,后面有很多操作,都可以在管理页面完成,例如添加/删除组、数据分片、添加/删除redis实例等

 

 

7. 创建dashboard启动脚本。可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 只需在一台机器上启动即可。43.130上启动 )

[root@vmware-130 ~]# vim /usr/local/codis/scripts/start_dashboard.sh

#!/bin/sh

CODIS_HOME=/usr/local/codis 

nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard --addr=:18087 --http-log=$CODIS_HOME/logs/requests.log &>/dev/null &

 

启动dashboard

[root@vmware-130 ~]# cd /usr/local/codis/scripts/

[root@vmware-130 scripts ]# sh start_dashboard.sh

 

8. 创建初始化槽脚本,可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 在任一台机器上机器上配置,此环境在43.130机器上配置 )

[root@vmware-130 ~]# vim /usr/local/codis/scripts/initslot.sh

#!/bin/sh

CODIS_HOME=/usr/local/codis

echo "slots initializing..."

$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f

echo "done"

 

执行初始化槽脚本:

[root@vmware-130 ~]#  cd /usr/local/codis/scripts

[root@vmware-130 scripts ]# sh initslot.sh 

 

9. 配置codis-server,启动codis-server master , slave 实例 ,以上步骤已经启动,不在描述。

 

 

10. 通过管理页面添加组ID,为组添加主从实例,一个组里只能有一个master,设置slot分片数据等。

http://192.168.43.130:18087(最好用Firefox浏览器或者谷歌浏览器,别的浏览器比较坑爹!!!)

如下图所示:

 wKioL1VHiIWQ40bjAAIEIL7oN5g442.jpg

 

接下来,依次添加 Server Group 1,2,3 ( 共添加3组 )

wKioL1VDbf_TDMajAAINLzR_Hf0203.jpg

 

添加好后,图为下:

wKioL1VDbheRvcxCAAGh43pZu0Y594.jpg

 

接下来添加codis-server实例包括master ,slave

wKioL1VDbjnQdSptAAHlRCq-zVc071.jpg

 

全部添加完成后,如下图所示:

wKioL1VDblygdHjmAALoJtIu5gc723.jpg

 

为组分配Slot(槽)范围

group_1   0 - 511

group_2   512 - 1023

group_3   暂时不分配,以下测试中,用来迁移其他组使用。

 

如下图操作所示:group_1  ( 0 - 511 )

wKiom1VDbRKB0lmvAAIoZJiexms485.jpg

 

添加成功后,页面会显示success窗口,如下图所示。

wKiom1VHhsaS2ZC_AAE8NKsfUBI640.jpg

 

如下图操作所示:group_2  ( 512 - 1023 )
wKiom1VDbU2SiunrAAJnSyfZfGk560.jpg

 

添加成功后,页面会显示success窗口,如下图所示。
wKiom1VHh4bBrzSGAAIgQ7VNtYo113.jpg

 

查看整个Slots分布情况: 选择 Slots Status 或者 右上角那个 Slots 都可以看到分布情况。

wKiom1VDbZCxi2qyAAJCIS7nDig367.jpg

 

wKioL1VDbxSA_6a8AAv1WkT09PA993.jpg

 

11. 配置codis-ha服务,主从自动切换。( 随便找个节点机器上配置即可,此环境中在43.131机器上配置 )

[root@vmware-131 ~]# go get github.com/ngaut/codis-ha

[root@vmware-131 ~]# cd /usr/local/codis/src/github.com/ngaut

[root@vmware-131 ~]# cp -r codis-ha /usr/local/
[root@vmware-131 ~]# cd /usr/local/codis-ha

[root@vmware-131 codis-ha ]# go build

 

创建启动脚本,启动codis-ha服务

[root@vmware-131 ~]# vim /usr/local/codis-ha/start_codis_ha.sh

#!/bin/sh

./codis-ha --codis-config=192.168.43.130:18087 -log-level="info" --productName=vmware-Codis &> ./logs/codis-ha.log &

 

创建日志目录

[root@vmware-131 ~]# mkdir /usr/local/codis-ha/logs

[root@vmware-131 ~]# cd /usr/local/codis-ha/

[root@vmware-131 codis-ha ]# sh start_codis_ha.sh

 

12. 修改start_proxy.sh,启动codis-proxy服务 ( 以130机器配置为例,其余codis-proxy只需修改下名称即可。) 

[root@vmware-130 scripts]# vim /usr/local/codis/scripts/start_proxy.sh 

#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "shut down codis_proxy_1..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy offline codis_proxy_1
echo "done"
echo "start new codis_proxy_1..."
nohup $CODIS_HOME/bin/codis-proxy --log-level error -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/codis_proxy_1.log  --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &
echo "done"
echo "sleep 3s"
sleep 3
tail -n 30 $CODIS_HOME/logs/codis_proxy_1.log

[root@vmware-130 scripts]# vim /usr/local/codis/scripts/set_proxy_online.sh 
#!/bin/sh

CODIS_HOME=/usr/local/codis
echo "set codis_proxy_1 online"
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy online codis_proxy_1
echo "done"

 

启动codis-proxy

./start_proxy.sh

 

上线codis_proxy_1

./set_proxy_online.sh

 

备注:其他codis_proxy只需修改start_proxy.sh和set_proxy_online.sh启动脚本里面的codis_proxy_1名称即可。

 

 

13. 通过redis-cli客户端直接访问codis-proxy,写入数据,看组里面的master和slave 是否同步。

[root@vmware-130 scripts]# redis-cli -p 19000

127.0.0.1:19000> set mike liweizhong
OK
127.0.0.1:19000> set benet lwz
OK
127.0.0.1:19000> exit
[root@vmware-130 scripts]#

通过管理界面看到如下图所示:

wKiom1VDcLWijaibAAI5SVyWshY641.jpg

codis-server master,slave 同步数据正常,slots槽分片数据正常。

 

接下来在通过codis-proxy去取数据看看。

[root@vmware-130 scripts]# redis-cli -p 19000
127.0.0.1:19000> get mike
"liweizhong"
127.0.0.1:19000> get benet
"lwz"
127.0.0.1:19000> exit
[root@vmware-130 scripts]# 

 

以下用shell简单的写了个插入redis数据脚本,此脚本会插入20W个key,每运行一次,需要调整INSTANCE_NAME参数里面的数字,才可重新插入新数据。仅供测试使用:

[root@vmware-132 scripts]# cat redis-key.sh 
#!/bin/bash

REDISCLI="redis-cli -h 192.168.43.131 -p 19000 -n 0 SET"
ID=1

while [ $ID -le 50000 ]
do
  INSTANCE_NAME="i-2-$ID-VM"
  UUID=`cat /proc/sys/kernel/random/uuid`
  CREATED=`date "+%Y-%m-%d %H:%M:%S"`
  $REDISCLI vm_instance:$ID:instance_name "$INSTANCE_NAME"
  $REDISCLI vm_instance:$ID:uuid "$UUID"
  $REDISCLI vm_instance:$ID:created "$CREATED"
  $REDISCLI vm_instance:$INSTANCE_NAME:id "$ID"
  ID=`expr $ID + 1`
done

执行插入脚本

[root@vmware-132 scripts]# sh redis-key.sh 

通过管理界面,我们可以看到如下图所示:

wKiom1VHh_XSERD9AAHk6EhxOv8414.jpg

 

 数据插完后,最终如下图所示:

wKiom1VDcPTCBy-rAAKlS91qpIw329.jpg 

 

 

三、部署Keepalived + haproxy 高可用负载均衡

 

安装haproxy、keepalived (43.130、43.132 机器上操作)

1.查看系统内核是否支持 tproxy
[root@vmware-130 ~]# grep TPROXY /boot/config-`uname -r` 
CONFIG_NETFILTER_TPROXY=m
CONFIG_NETFILTER_XT_TARGET_TPROXY=m
内核为2.6.32-220.el6.x86_64,支持TPROXY;

2.源码安装pcre-8.01
[root@vmware-130 ~]# rpm -qa|grep pcre
pcre-7.8-6.el6.x86_64
pcre-devel-7.8-6.el6.x86_64
系统已经rpm形式安装了pcre,但安装haproxy时,提示找不到pcre的库文件,看了haproxy的Makefile文件,指定pcre的为/usr/local下,故再源码安装一个pcre-8.01,如下(如果不重新安装,可以改makefile文件或把库文件软链到makefile文件指定的路径)
[root@vmware-130 ~]# cd /data/packages

[root@vmware-130 ~]# tar -zxf pcre-8.37.tar.gz && cd pcre-8.37
[root@vmware-130 pcre-8.36 ]# ./configure --disable-shared --with-pic
[root@vmware-130 pcre-8.36 ]# make && make install

3.安装 haproxy-1.4.22

[root@vmware-130 ~]# cd /data/packages

[root@vmware-130 ~]# tar xf haproxy-1.4.26.tar.gz
[root@vmware-130 ~]# cd haproxy-1.4.26
[root@vmware-130 haproxy-1.4.26 ]# make TARGET=linux26 CPU=x86_64 USE_STATIC_PCRE=1 USE_LINUX_TPROXY=1
[root@vmware-130 haproxy-1.4.26 ]# make install target=linux26
[root@vmware-130 haproxy-1.4.26 ]# mkdir -p /usr/local/haproxy/sbin

[root@vmware-130 haproxy-1.4.26 ]# mkdir -p /data/haproxy/{conf,run,logs}
[root@vmware-130 haproxy-1.4.26 ]# ln -s /usr/local/sbin/haproxy /usr/local/haproxy/sbin

 

4. 创建haproxy启动脚本

[root@vmware-130 ~]# vim /etc/init.d/haproxy 
#!/bin/sh
# haproxy
# chkconfig: 35 85 15
# description: HAProxy is a free, very fast and reliable solution \
# offering high availability, load balancing, and \
# proxying for TCP and HTTP-based applications
# processname: haproxy
# config: /data/haproxy/conf/haproxy.cfg
# pidfile: /data/haproxy/run/haproxy.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

config="/data/haproxy/conf/haproxy.cfg"
exec="/usr/local/haproxy/sbin/haproxy"
prog=$(basename $exec)

[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog

lockfile=/var/lock/subsys/haproxy

check() {
    $exec -c -V -f $config
}

start() {
    $exec -c -q -f $config
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
 
    echo -n $"Starting $prog: "
    # start it up here, usually something like "daemon $exec"
    daemon $exec -D -f $config -p /data/haproxy/run/$prog.pid
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    # stop it here, often "killproc $prog"
    killproc $prog 
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    $exec -c -q -f $config
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    stop
    start
}

reload() {
    $exec -c -q -f $config
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    echo -n $"Reloading $prog: "
    $exec -D -f $config -p /data/haproxy/run/$prog.pid -sf $(cat /data/haproxy/run/$prog.pid)
    retval=$?
    echo
    return $retval
}

force_reload() {
    restart
}

fdr_status() {
    status $prog
}

case "$1" in
    start|stop|restart|reload)
        $1
        ;;
    force-reload)
        force_reload
        ;;
    checkconfig)
        check
        ;;
    status)
        fdr_status
        ;;
    condrestart|try-restart)
      [ ! -f $lockfile ] || restart
    ;;
    *)
        echo $"Usage: $0 {start|stop|status|checkconfig|restart|try-restart|reload|force-reload}"
        exit 2
esac

 

备注:此脚本stop的时候有问题,有待解决。

 

#添加haproxy服务

[root@vmware-130 ~]# echo "net.ipv4.ip_nonlocal_bind = 1" >> /etc/rsysctl.conf

[root@vmware-130 ~]# sysctl -p

[root@vmware-130 ~]# chmod 755 /etc/init.d/haproxy

[root@vmware-130 ~]# chkconfig --add haproxy

[root@vmware-130 ~]# chkconfig haproxy on

 

5.安装keepalived 

[root@vmware-130 ~]# cd /data/packages

[root@vmware-130 ~]# tar zxvf keepalived-1.2.16.tar.gz

[root@vmware-130 ~]# cd keepalived-1.2.16

[root@vmware-130 keepalived-1.2.16 ]# ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-504.16.2.el6.x86_64/

\\若/usr/src/kernels/目录下为空,那么安装kernel-headers和kernel-devel包 yum install -y kernel-header kernel-devel

 [root@vmware-130 keepalived-1.2.16 ]# make && make install

 

6.配置keepalived,添加keepalived 服务

[root@vmware-130 ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

[root@vmware-130 ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

[root@vmware-130 ~]# mkdir -p /data/keepalived/{conf,scripts}

[root@vmware-130 ~]# cp /usr/local/sbin/keepalived /usr/sbin/

[root@vmware-130 ~]# chkconfig --add keepalived

[root@vmware-130 ~]# chkconfig keepalived on

 

7. 配置haproxy.cfg配置文件( 43.130, 43.132 配置,haproxy.cfg配置文件完全一样 )

[root@vmware-130 ~]# vim /usr/local/haproxy/conf/haproxy.cfg
########### 全局配置 #########
global

log 127.0.0.1 local0 err
chroot /usr/local/haproxy
daemon
nbproc 1
group nobody
user nobody
pidfile /usr/local/haproxy/run/haproxy.pid
ulimit-n 65536
#spread-checks 5m 
#stats timeout 5m
#stats maxconn 100


######## 默认配置 ############
defaults
mode tcp                     #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK
retries 3                    #两次连接失败就认为是服务器不可用,也可以通过后面设置
option redispatch            #当serverId对应的服务器挂掉后,强制定向到其他健康的服务器
option abortonclose          #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
maxconn 32000                #默认的最大连接数
timeout connect 5000ms       #连接超时
timeout client 30000ms       #客户端超时
timeout server 30000ms       #服务器超时
#timeout check 2000          #心跳检测超时
log 127.0.0.1 local3 err     #[err warning info debug]
 
######## proxy 配置#################
listen proxy_status 
bind 0.0.0.0:45001
mode tcp
balance roundrobin
server codis_proxy_1 192.168.43.130:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_2 192.168.43.131:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_3 192.168.43.132:19000 weight 1 maxconn 10000 check inter 10s
 
######## 统计页面配置 ########
listen admin_stats
bind 0.0.0.0:8099     #监听端口
mode http             #http的7层模式
option httplog        #采用http日志格式
#log 127.0.0.1 local0 err
maxconn 10
stats refresh 30s     #统计页面自动刷新时间
stats uri /stats      #统计页面url
stats realm XingCloud\ Haproxy     #统计页面密码框上提示文本
stats auth admin:admin             #统计页面用户名和密码设置
stats hide-version                 #隐藏统计页面上HAProxy的版本信息

stats admin if TRUE

 

8. 配置keepalived.conf配置文件 ( 43.130 上配置,43.132备用配置主要修改参数已经标注 )

[root@vmware-130 ~]# vim /data/keepalived/conf/keepalived.conf

! Configuration File for keepalived  
  
global_defs {  
   notification_email {  
         lwz_benet@163.com 
   }  
   notification_email_from lwz_benet@1163.com
   smtp_connect_timeout 30  
   smtp_server 127.0.0.1  
   router_id HAProxy_DEVEL 
}  

vrrp_script chk_haproxy {  
    script "killall -0 haproxy"  
    interval 2  
}  

vrrp_instance HAProxy_HA {  
    state BACKUP     
    interface eth0  
    virtual_router_id 80   

    priority 100      #备用为90
    advert_int 2
    nopreempt        #设置不强占,防止业务来回切换。

    authentication {  
        auth_type PASS  
        auth_pass KJj23576hYgu23IP  
    }  
    track_interface {  
       eth0  
    }  
    virtual_ipaddress {  
        192.168.43.100
    }  
    track_script {  
        chk_haproxy  
    }  
  
    #状态通知  
    notify_master "/data/keepalived/scripts/mail_notify.py master"  
    notify_backup "/data/keepalived/scripts/mail_notify.py backup"  
    notify_fault  "/data/keepalived/scripts/mail_notify.py fault"  
}

\\拷贝主上面的keepalived.conf到从上,只需修改priority值参数即可。

 

创建/data/keepalived/scripts/mail_notify.py邮件通知程序:

详细请访问:http://liweizhong.blog.51cto.com/1383716/1639917

\\最后修改下通知信息为英文,中文内容可能会投递失败。

 

# 配置haproxy日志

[root@vmware-130 ~]# vim /etc/rsyslog.d/haproxy.conf

$ModLoad imudp

$UDPServerRun 514

local3.* /data/haproxy/logs/haproxy.log

local0.* /data/haproxy/logs/haproxy.log

[root@vmware-130 ~]# vim /etc/sysconfig/rsyslog

SYSLOGD_OPTIONS="-c 2 -r -m 0"

[root@vmware-130 ~]# service rsyslog restart

 

9. 启动haproxy、keepalived服务。(先启动两个haproxy服务,然后在依次启动master、backup上的keepalived服务)

[root@vmware-130 ~]# service haproxy start   ( 先启动 haproxy 服务 )

 

[root@vmware-130 ~]# service keepalived start

 

10. 测试redis-cli客户端访问

[root@vmware-130 ~]# redis-cli -h 192.168.43.130 -p 45001

 

备注:redis-cli 命令,codis里面是没有的,我是安装redis服务的,只是用codis而已。

 

到这里,整个架构已经全部部署完成啦!!!

 

 

 

 

四、Codis 群集架构故障测试

 

备注:由于本环境在本地虚拟机上部署,占不涉及到性能测试。codis性能测试可使用redis-benchmark工具

 

1.停止任意zookeeper节点,检查codis-proxy,dashboard是否正常.

[root@vmware-132 scripts]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader                                     \\目前此节点提供服务
[root@vmware-132 scripts]# zkServer.sh stop           \\停止此服务,模拟leader挂掉。
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

 

检查zookeeper其他节点是否重新选取 leader。

[root@vmware-131 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader                                     \\可以看到,vmware-131已经选举为leader.

[root@vmware-130 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

 

redis客户端是否能正常访问到codis-proxy。

[root@vmware-130 logs]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> exit
[root@vmware-130 logs]#

 

dashboard管理界面是否正常。

打开浏览器,访问 http://192.168.43.130:18087/admin/

 

 

 

2.停止group master,检查group slave是否自动切换主

 

接下来,我们开始来模拟vmware-130机器上的codis-server master 6379端口挂掉

wKioL1VHiwyScyq8AAHyzEuhsWc333.jpg

 

停止codis-master后,检查codis-ha日志输出如下信息:

wKiom1VHiejSKSlIAAHyBZB1YVQ470.jpg

 

打开管理界面,查看到如下信息:

wKiom1VDdQmxmKU-AAExvprRUD0404.jpg

 

客户端写入新数据,切换后的主是否有新key增加。

[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> set abc 123
OK
192.168.43.100:45001> set def 456
OK
192.168.43.100:45001> get abc
"123"
192.168.43.100:45001> get def
"456"
192.168.43.100:45001> exit

打开管理界面,查看到keys增加两个。

wKioL1VDdonDwyGZAAE0uXzpEFk659.jpg

 

接下来我们恢复vmware-130 codis-server 6379

[root@vmware-130 ~]# /usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf 

[root@vmware-130 ~]# ps -ef |grep codis-server
root      2121     1  0 Apr30 ?        00:02:15 /usr/local/codis/bin/codis-server *:6380                           
root      7470     1 21 16:58 ?        00:00:00 /usr/local/codis/bin/codis-server *:6379                           
root      7476  1662  0 16:58 pts/0    00:00:00 grep codis-server
这时,我们在管理界面看到如下情况:

 wKiom1VDdTXyYa-6AAFfYgtkbF8421.jpg

 

备注:当master挂掉时候,redis-ha检测到自动将slave切换为master,但是master恢复后,仍为offline,需要将其删除在添加,就可以成为slave.

 

按备注那样,我们需要将原来的master 6379先删除,然后再次添加。操作完成后,如下图所示:

 wKiom1VDdYDSX4qBAAE-P5HpmlQ016.jpg

 

3.通过dashboard管理界面添加codis-server组,在线迁移、扩展等。

 

添加新组,添加master,slave . \\此步省略,之前已经添加好group_3

 

通过Migrate Slot(s)选项,我们来迁移group_1组到group_3组:

为了模拟迁移是否会影响到业务,我在一台机器开启插入数据脚本,

[root@vmware-132 scripts]# sh redis-key.sh      \\脚本里面连接codis群集请修改为虚拟IP.

现在又客户端在实时插入数据,接下来通过管理界面操作步骤如下:

wKioL1VHi-bjA_gGAAL5HDsRpMg604.jpg

 

目前客户端在不断插入新数据,后端我们又在迁移组数据,那么我们现在在来get数据看看是否正常。

[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get abc
"123"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> exit

 

可以看到后端在迁移数据,对业务访问不受影响。这点非常赞。

 

迁移完成后,如下图所示:

 wKioL1VDeleggGWXAANKH5-mUz0953.jpg

 

 

4.模拟codis-proxy节点挂掉,看haproxy服务是否会剔除节点。

我们仍继续用脚本插入数据,然后停止vmware-131上面的codis-proxy服务。

[root@vmware-132 scripts]# sh redis-key.sh 

wKiom1VHiwPTn23nAAGp2qbQySA864.jpg

[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> get abc
"123"

codis-proxy代理节点挂掉一个,haproxy自动剔除此节点,插入数据脚本由于之前连接的socket挂掉,会中断重新连接新的socket.  业务正常访问。

以下为haproxy监控页面信息:

wKioL1VDe7PDOKi2AAZ82DOrJTU703.jpg

 

codis管理界面我们可以看到codis_proxy_2已经没有显示出来: 

wKiom1VHjB3TocbCAAEMJPMRdPk447.jpg

 

当codis_proxy_2恢复的时候,haproxy又自动加入此节点,并正常提供服务。

wKiom1VHi9-S002zAAbadl-hUMI748.jpg 

 

codis管理界面又正常显示codis_proxy_2节点。

wKiom1VHi3CwNhUiAAFgldBdCkM289.jpg

 

 

 

 

5.keepalived+haproxy群集故障测试

一、停止haproxy-master ,  观察/var/log/message日志

照样启动redis-key.sh插入数据脚本

[root@vmware-132 scripts]# sh redis-key.sh 

停止 haproxy master

wKioL1VHjePiyA3SAAFyAhhOF80934.jpg

 

以下为截取到的日志信息:

keepalived master 130  tail -f /var/log/message

wKiom1VHjMjC0VKwAALxFu3CavI363.jpg

 

keepalived backup 132  tail -f /var/log/message

wKioL1VHjpGAdiyUAALh3sOz5Mk396.jpg

 

插入数据脚本会出现中断,然后又正常插入数据。

wKioL1VDfJGCGEeWAAFi_jEGRAM349.jpg

 

虚拟IP出现一次掉包,然后马上恢复了。

 wKiom1VDezvxa-gNAAMuwBuN_P0594.jpg

 

 

二、恢复haproxy-master, 观察/var/log/message日志,看是否被抢占,正常情况主haproxy恢复后,不会进行切换,防止业务来回切换。。。

接下来我们恢复haproxy-master

[root@vmware-130 logs]# service haproxy start
Starting haproxy:                                          [  OK  ]

tail -f /var/log/message

wKiom1VHjWnCq-CuAAOcX0e-NCM050.jpg

以上截图我们可以看到恢复haproxy-master后,VIP不会进行漂移,keepalived进入BACKUP状态,这是因为设置了nopreempt参数,不抢占,防止业务来回切换。。。

 

 

三、停止haproxy-backup, 观察 /var/log/message日志,是否进行切换。

以上我们模拟了haproxy-master故障和恢复,现在我们再次模拟现在的haproxy-master也就是原先的haproxy-backup.

 

模拟haproxy-backup进程挂掉:

 

keepalived master 130  tail -f /var/log/message

 

keepalived backup 132  tail -f /var/log/message

VIP进行了漂移,keepalived也切换身份。

再次恢复haproxy-backup ,VIP不进行漂移,与以上类似,不在描述。

 

四、模拟keepalived进程挂掉

 

keepalived-master 挂掉,keepalived主备切换,VIP进行漂移。

当keepalived-master恢复时,直接进入BACKUP状态,不进行主备切换,VIP不漂移。

  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    284 引用 • 247 回帖 • 162 关注
  • Codis
    3 引用

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • Gzip

    gzip (GNU zip)是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件,它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式,或者说一种文件格式。

    9 引用 • 12 回帖 • 118 关注
  • 创业

    你比 99% 的人都优秀么?

    83 引用 • 1398 回帖
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目,是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台,为开发者提供便利的 API 接口来调用服务,让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 446 关注
  • flomo

    flomo 是新一代 「卡片笔记」 ,专注在碎片化时代,促进你的记录,帮你积累更多知识资产。

    4 引用 • 88 回帖
  • C

    C 语言是一门通用计算机编程语言,应用广泛。C 语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。

    83 引用 • 165 回帖 • 32 关注
  • FreeMarker

    FreeMarker 是一款好用且功能强大的 Java 模版引擎。

    23 引用 • 20 回帖 • 426 关注
  • JetBrains

    JetBrains 是一家捷克的软件开发公司,该公司位于捷克的布拉格,并在俄国的圣彼得堡及美国麻州波士顿都设有办公室,该公司最为人所熟知的产品是 Java 编程语言开发撰写时所用的集成开发环境:IntelliJ IDEA

    18 引用 • 54 回帖 • 3 关注
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时,提供更无缝的用户体验。

    1 引用 • 2 回帖 • 46 关注
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 87 关注
  • OpenResty

    OpenResty 是一个基于 NGINX 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

    17 引用 • 38 关注
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。

    75 引用 • 258 回帖 • 628 关注
  • H2

    H2 是一个开源的嵌入式数据库引擎,采用 Java 语言编写,不受平台的限制,同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式,可以兼容一些主流的数据库,因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 644 关注
  • Thymeleaf

    Thymeleaf 是一款用于渲染 XML/XHTML/HTML5 内容的模板引擎。类似 Velocity、 FreeMarker 等,它也可以轻易的与 Spring 等 Web 框架进行集成作为 Web 应用的模板引擎。与其它模板引擎相比,Thymeleaf 最大的特点是能够直接在浏览器中打开并正确显示模板页面,而不需要启动整个 Web 应用。

    11 引用 • 19 回帖 • 320 关注
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年,是中国的 IT 社区和服务平台,为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务,满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖 • 1 关注
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起,它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖 • 14 关注
  • PHP

    PHP(Hypertext Preprocessor)是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点,主要适用于 Web 开发领域,据说是世界上最好的编程语言。

    165 引用 • 407 回帖 • 523 关注
  • SQLite

    SQLite 是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是全世界使用最为广泛的数据库引擎。

    4 引用 • 7 回帖 • 5 关注
  • 小说

    小说是以刻画人物形象为中心,通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖
  • 外包

    有空闲时间是接外包好呢还是学习好呢?

    26 引用 • 232 回帖
  • 职场

    找到自己的位置,萌新烦恼少。

    126 引用 • 1699 回帖
  • Sillot

    Insights(注意当前设置 master 为默认分支)

    汐洛彖夲肜矩阵(Sillot T☳Converbenk Matrix),致力于服务智慧新彖乄,具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架(Sillot-Gibbet)基于自思源笔记(siyuan-note),前身是思源笔记汐洛版(更早是思源笔记汐洛分支),是智慧新录乄终端(多端融合,移动端优先)。

    项目 Github 地址:https://github.com/Hi-Windom/Sillot ,点个免费的 ⭐ 收藏是汐洛更新的最大动力。

    注意事项:

    1. ⚠️ 汐洛仍在早期开发阶段,尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计,使用前请了解风险
    28 引用 • 25 回帖 • 46 关注
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念,推广开源项目,为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 18 关注
  • Rust

    Rust 是一门赋予每个人构建可靠且高效软件能力的语言。Rust 由 Mozilla 开发,最早发布于 2014 年 9 月。

    57 引用 • 22 回帖 • 3 关注
  • 微软

    微软是一家美国跨国科技公司,也是世界 PC 软件开发的先导,由比尔·盖茨与保罗·艾伦创办于 1975 年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖 • 2 关注
  • 单点登录

    单点登录(Single Sign On)是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖 • 2 关注
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    165 引用 • 1466 回帖