Redis cluster 部署

本贴最后更新于 1631 天前,其中的信息可能已经时移世易

环境准备:
| 类别 | IP| 规格 | 主机名 |
| 1| 192.168.43.120| 4C8G |redis-cluster-01|
| 2| 192.168.43.121| 4C8G |redis-cluster-02|
| 3| 192.168.43.122| 4C8G |redis-cluster-03|
注意:系统均为 centos7.6,均已关闭 firewalld 和 selinux。
集群架构是三台机器,每台机器部署两个节点,端口分别是 6379 和 6380.

第一步:下载 Redis 离线二进制包

# wget http://download.redis.io/releases/redis-4.0.10.tar.gz 

第二步:解压

# tar xf redis-4.0.10.tar.gz 
# mv redis-4.0.10 /usr/local/redis 

第三步:编译&&编译安装

# cd /usr/local/redis 
# make 
# make install 

第四步:将二进制可执行文件拷贝至/usr/local/bin 或者/usr/bin 目录下

# cd src/ 
# cp redis-trib.rb /usr/local/bin/ 

第五步:检查

# cd ../utils/
# ls -l
总用量 76 
-rw-rw-r-- 1 root root 593 6月 13 2018 build-static-symbols.tcl 
-rw-rw-r-- 1 root root 1303 6月 13 2018 cluster_fail_time.tcl 
-rw-rw-r-- 1 root root 1070 6月 13 2018 corrupt_rdb.c 
drwxrwxr-x 2 root root 4096 6月 13 2018 create-cluster 
-rwxrwxr-x 1 root root 2137 6月 13 2018 generate-command-help.rb 
drwxrwxr-x 3 root root 4096 6月 13 2018 graphs 
drwxrwxr-x 2 root root 4096 6月 13 2018 hashtable 
drwxrwxr-x 2 root root 4096 6月 13 2018 hyperloglog 
-rwxrwxr-x 1 root root 9567 6月 13 2018 install_server.sh 
drwxrwxr-x 2 root root 4096 6月 13 2018 lru 
-rw-rw-r-- 1 root root 1277 6月 13 2018 redis-copy.rb 
-rwxrwxr-x 1 root root 1352 6月 13 2018 redis_init_script 
-rwxrwxr-x 1 root root 1047 6月 13 2018 redis_init_script.tpl 
-rw-rw-r-- 1 root root 1762 6月 13 2018 redis-sha1.rb 
drwxrwxr-x 2 root root 4096 6月 13 2018 releasetools 
-rwxrwxr-x 1 root root 3787 6月 13 2018 speed-regression.tcl 
-rwxrwxr-x 1 root root 693 6月 13 2018 whatisdoing.sh 

第六步:部署节点 1

# ./install_server.sh 
Welcome to the redis service installer This script will help you easily set up a running redis server 
Please select the redis port for this instance: [6379] Selecting default: 6379 
Please select the redis config file name [/etc/redis/6379.conf] /data/redis/conf/6379.conf 
Please select the redis log file name [/var/log/redis_6379.log] /data/redis/logs/6379.log 
Please select the data directory for this instance [/var/lib/redis/6379] /data/redis/data/6379 Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config: Port : 6379 
Config file : /data/redis/6379.conf 
Log file : /data/redis/logs/6379.log 
Data dir : /data/redis/6379 
Executable : /usr/local/bin/redis-server 
Cli Executable : /usr/local/bin/redis-cli 
Is this ok? 
Then press ENTER to go on or Ctrl-C to abort. 
Copied /tmp/6379.conf => /etc/init.d/redis_6379 
Installing service... Successfully added to chkconfig! 
Successfully added to runlevels 345! 
Starting Redis server... Installation successful!

注意:
①.如果是部署单机 Redis,到这里就算结束了。
②.由于部署的集群是单机双实例(如果有条件的话,可以一台机器只部署一个节点),所以第六步和第七步都要执行。
第七步:部署节点 2

# ./install_server.sh 
Welcome to the redis service installer This script will help you easily set up a running redis server 
Please select the redis port for this instance: [6379] 6380 
Please select the redis config file name [/etc/redis/6380.conf] /data/redis/conf/6380.conf 
Please select the redis log file name [/var/log/redis_6380.log] /data/redis/logs/6380.log 
Please select the data directory for this instance [/var/lib/redis/6380] /data/redis/data/6380 Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config: Port : 6380 
Config file : /data/redis/6380.conf 
Log file : /data/redis/logs/6380.log 
Data dir : /data/redis/6380 
Executable : /usr/local/bin/redis-server 
Cli Executable : /usr/local/bin/redis-cli 
Is this ok? 
Then press ENTER to go on or Ctrl-C to abort. 
Copied /tmp/6380.conf => /etc/init.d/redis_6380 
Installing service... Successfully added to chkconfig! 
Successfully added to runlevels 345! 
Starting Redis server... Installation successful!

第八步:检查

# tree -L 3 
 . 
└── redis 
    ├── 6379 
    ├── 6379.conf 
    ├── 6380 
    ├── 6380.conf 
    └── logs 
        ├── 6379.log 
        └── 6380.log 
4 directories, 4 files

另外的两台机器按照上面的步骤(第一步到第八步)操作即可。
第九步:配置

# sed -i "s/# cluster-enabled yes/cluster-enabled yes/g;s/bind 127.0.0.1/bind 192.168.43.120 127.0.0.1/g" /data/redis/*.conf

注意:在另外两台机器同样执行那条命令,只需将 192.168.43.120 换成本机的 IP 即可;

第十步:重启 Redis 使配置生效

# /etc/init.d/redis_6379 restart

第十一步:检查
redis-cluster-01:

# netstat -lntp
Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.120:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.120:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd 
tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.120:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.120:16380 0.0.0.0:* LISTEN 9495/redis-server 1

redis-cluster-02:

# netstat -lntp
Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.121:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.121:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd 
tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.121:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.121:16380 0.0.0.0:* LISTEN 9495/redis-server 1

redis-cluster-03:

# netstat -lntp
Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.122:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.122:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd 
tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.122:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.122:16380 0.0.0.0:* LISTEN 9495/redis-server 1

第十二步:Redis 优化
在我们启动 Redis 的时候,查看 Redis 的启动日志,官方很友好的将一些需要优化的都给我们明显的标出来了,我们只需要按照那个修改即可,如有别的需求可以自行查看官方相关参数进行修改;如下即是 Redis 启动时的优化提示:

9375:M 15 May 11:14:28.574 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 
9375:M 15 May 11:14:28.574 # Server initialized 
9375:M 15 May 11:14:28.574 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 
9375:M 15 May 11:14:28.574 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
# echo 1024 > /proc/sys/net/core/somaxconn 
# echo "vm.overcommit_memory = 1" >>/etc/sysctl.conf 
# sysctl -p 
# echo never > /sys/kernel/mm/transparent_hugepage/enabled 
# echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >>/etc/rc.local

另外两台机器同样执行上面的操作。
第十三步:安装 gem

# yum -y install ruby ruby-devel rubygems rpm-build 
# gem install -l redis-3.0.0.gem 
Successfully installed redis-3.0.0 
Parsing documentation for redis-3.0.0 
Installing ri documentation for redis-3.0.0 
1 gem installed

上面的 gem 文件我已上传到百度云网盘

链接:https://pan.baidu.com/s/1B-Zk1KAPjUrJzCpvAZaU_w  
密码:1kbv

第十四步:创建集群

# redis-trib.rb create --replicas 1 192.168.43.120:6379 192.168.43.121:6379 192.168.43.122:6379 192.168.43.120:6380 192.168.43.121:6380 192.168.43.122:6380
>>> Creating cluster 
auses ArgumentError in the next release 
warning: this causes ArgumentError in the next release 
>>> Performing hash slots allocation on 6 nodes... 
Using 3 masters: 
192.168.43.120:6379 
192.168.43.121:6379 
192.168.43.122:6379 
Adding replica 192.168.43.121:6380 to 192.168.43.120:6379 
Adding replica 192.168.43.122:6380 to 192.168.43.121:6379 
Adding replica 192.168.43.120:6380 to 192.168.43.122:6379 
M: 79e82a8357f67ac623479cc76575b39c9f7b8b39 192.168.43.120:6379 slots:0-5460 (5461 slots) master 
M: 234af44758281d646f81ee482edd23a0f6c97237 192.168.43.121:6379 slots:5461-10922 (5462 slots) master 
M: 99d4866d25028faae3b03367a39871ab642704ab 192.168.43.122:6379 slots:10923-16383 (5461 slots) master 
S: 19773196edde889421ef4d124ee1b60c2a02d5d5 192.168.43.120:6380 replicates 99d4866d25028faae3b03367a39871ab642704ab 
S: 4dde88648d44c87ff646b134b0e024043eecda40 192.168.43.121:6380 replicates 79e82a8357f67ac623479cc76575b39c9f7b8b39 
S: 686cf842893bdf6e79e10bba28fcc9388848f14f 192.168.43.122:6380 replicates 234af44758281d646f81ee482edd23a0f6c97237 
Can I set the above configuration? (type 'yes' to accept): yes 
>>> Nodes configuration updated 
>>> Assign a different config epoch to each node 
>>> Sending CLUSTER MEET messages to join the cluster 
Waiting for the cluster to join........... 
>>> Performing Cluster Check (using node 192.168.43.120:6379) 
M: 79e82a8357f67ac623479cc76575b39c9f7b8b39 192.168.43.120:6379 slots:0-5460 (5461 slots) master 1 additional replica(s) 
S: 4dde88648d44c87ff646b134b0e024043eecda40 192.168.43.121:6380 slots: (0 slots) slave replicates 79e82a8357f67ac623479cc76575b39c9f7b8b39 
M: 234af44758281d646f81ee482edd23a0f6c97237 192.168.43.121:6379 slots:5461-10922 (5462 slots) master 1 additional replica(s) 
S: 686cf842893bdf6e79e10bba28fcc9388848f14f 192.168.43.122:6380 slots: (0 slots) slave replicates 234af44758281d646f81ee482edd23a0f6c97237 
S: 19773196edde889421ef4d124ee1b60c2a02d5d5 192.168.43.120:6380 slots: (0 slots) slave replicates 99d4866d25028faae3b03367a39871ab642704ab 
M: 99d4866d25028faae3b03367a39871ab642704ab 192.168.43.122:6379 slots:10923-16383 (5461 slots) master 
1 additional replica(s) 
[OK] All nodes agree about slots configuration. 
>>> Check for open slots... 
>>> Check slots coverage... 
[OK] All 16384 slots covered.

当出现两个 OK 就是集群已经创建完毕。
第十五步:Redis 集群设置密码(按照生产需要自行决定)

# redis-cli -h 192.168.43.120 -p 6379 -c --raw 
192.168.43.120:6379> config set requirepass Tnobn?dju89U 
OK 
192.168.43.120:6379> auth Tnobn?dju89U 
OK 
192.168.43.120:6379> exit 
# redis-cli -h 192.168.43.120 -p 6379 -c --raw 
192.168.43.120:6379> config get requirepass 
NOAUTH Authentication required. 
192.168.43.120:6379> auth Tnobn?dju89U 
OK 
192.168.43.120:6379> config get requirepass 
requirepass Tnobn?dju89U 
192.168.43.120:6379> exit 
config set requirepass gnjRg54ish 
auth gnjRg54ish 
config set masterauth gnjRg54ish

上面的配置只是临时的,一旦 Redis 重启就会失效;永久修改只需要在 redis.conf 中添加如下配置,重启即可。

masterauth 密码 
requirepass 密码

Redis 配置文件释义:

Redis的配置
  daemonize:如需要在后台运行,把该项的值改为yes
  pdifile:把pid文件放在/var/run/redis.pid,可以配置到其他地址
  bind:指定redis只接收来自该IP的请求,如果不设置,那么将处理所有请求,在生产环节中最好设置该项
  port:监听端口,默认为6379
  timeout:设置客户端连接时的超时时间,单位为秒
  loglevel:等级分为4级,debug,revbose,notice和warning。生产环境下一般开启notice
  logfile:配置log文件地址,默认使用标准输出,即打印在命令行终端的端口上
  database:设置数据库的个数,默认使用的数据库是0
  save:设置redis进行数据库镜像的频率
  rdbcompression:在进行镜像备份时,是否进行压缩
  dbfilename:镜像备份文件的文件名
  dir:数据库镜像备份的文件放置的路径
  slaveof:设置该数据库为其他数据库的从数据库
  masterauth:当主数据库连接需要密码验证时,在这里设定
  requirepass:设置客户端连接后进行任何其他指定前需要使用的密码
  maxclients:限制同时连接的客户端数
  maxmemory:设置redis能够使用的最大内存
  appendonly:开启appendonly模式后,redis会把每一次所接收到的写操作都追加到appendonly.aof文件中,当redis重新启动时,会从该文件恢复出之前的状态
  appendfsync:设置appendonly.aof文件进行同步的频率
  vm_enabled:是否开启虚拟内存支持
  vm_swap_file:设置虚拟内存的交换文件的路径
  vm_max_momery:设置开启虚拟内存后,redis将使用的最大物理内存的大小,默认为0
  vm_page_size:设置虚拟内存页的大小
  vm_pages:设置交换文件的总的page数量
  vm_max_thrrads:设置vm IO同时使用的线程数量
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    286 引用 • 248 回帖 • 74 关注
  • 集群
    29 引用 • 65 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    36 引用 • 37 回帖 • 535 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    75 引用 • 1737 回帖
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息,资讯有时效性和地域性。

    55 引用 • 85 回帖 • 2 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    311 引用 • 546 回帖
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态;标准是由主流手机厂商组成的快应用联盟联合制定;快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台;以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖 • 2 关注
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时,提供更无缝的用户体验。

    1 引用 • 2 回帖 • 45 关注
  • FreeMarker

    FreeMarker 是一款好用且功能强大的 Java 模版引擎。

    23 引用 • 20 回帖 • 461 关注
  • 房星科技

    房星网,我们不和没有钱的程序员谈理想,我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源,遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 584 关注
  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 291 回帖 • 402 关注
  • CongSec

    本标签主要用于分享网络空间安全专业的学习笔记

    1 引用 • 1 回帖 • 10 关注
  • Solidity

    Solidity 是一种智能合约高级语言,运行在 [以太坊] 虚拟机(EVM)之上。它的语法接近于 JavaScript,是一种面向对象的语言。

    3 引用 • 18 回帖 • 383 关注
  • 倾城之链
    23 引用 • 66 回帖 • 138 关注
  • 安装

    你若安好,便是晴天。

    132 引用 • 1184 回帖 • 1 关注
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    286 引用 • 248 回帖 • 74 关注
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 2 关注
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 70 关注
  • Electron

    Electron 基于 Chromium 和 Node.js,让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目,兼容 Mac、Windows 和 Linux,它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 85 关注
  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。

    110 引用 • 54 回帖 • 3 关注
  • GitHub

    GitHub 于 2008 年上线,目前,除了 Git 代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等功能。正因为这些功能所提供的便利,又经过长期的积累,GitHub 的用户活跃度很高,在开源世界里享有深远的声望,并形成了社交化编程文化(Social Coding)。

    209 引用 • 2031 回帖
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 684 关注
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据(或者事件)流的 API。它组合了观察者模式,迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 153 关注
  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖 • 2 关注
  • 运维

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    148 引用 • 257 回帖 • 1 关注
  • 分享

    有什么新发现就分享给大家吧!

    247 引用 • 1792 回帖 • 7 关注
  • 脑图

    脑图又叫思维导图,是表达发散性思维的有效图形思维工具 ,它简单却又很有效,是一种实用性的思维工具。

    25 引用 • 83 回帖