Redis cluster 部署

本贴最后更新于 1650 天前,其中的信息可能已经时移世易

环境准备:
| 类别 | IP| 规格 | 主机名 |
| 1| 192.168.43.120| 4C8G |redis-cluster-01|
| 2| 192.168.43.121| 4C8G |redis-cluster-02|
| 3| 192.168.43.122| 4C8G |redis-cluster-03|
注意:系统均为 centos7.6,均已关闭 firewalld 和 selinux。
集群架构是三台机器,每台机器部署两个节点,端口分别是 6379 和 6380.

第一步:下载 Redis 离线二进制包

# wget http://download.redis.io/releases/redis-4.0.10.tar.gz 

第二步:解压

# tar xf redis-4.0.10.tar.gz 
# mv redis-4.0.10 /usr/local/redis 

第三步:编译&&编译安装

# cd /usr/local/redis 
# make 
# make install 

第四步:将二进制可执行文件拷贝至/usr/local/bin 或者/usr/bin 目录下

# cd src/ 
# cp redis-trib.rb /usr/local/bin/ 

第五步:检查

# cd ../utils/
# ls -l
总用量 76 
-rw-rw-r-- 1 root root 593 6月 13 2018 build-static-symbols.tcl 
-rw-rw-r-- 1 root root 1303 6月 13 2018 cluster_fail_time.tcl 
-rw-rw-r-- 1 root root 1070 6月 13 2018 corrupt_rdb.c 
drwxrwxr-x 2 root root 4096 6月 13 2018 create-cluster 
-rwxrwxr-x 1 root root 2137 6月 13 2018 generate-command-help.rb 
drwxrwxr-x 3 root root 4096 6月 13 2018 graphs 
drwxrwxr-x 2 root root 4096 6月 13 2018 hashtable 
drwxrwxr-x 2 root root 4096 6月 13 2018 hyperloglog 
-rwxrwxr-x 1 root root 9567 6月 13 2018 install_server.sh 
drwxrwxr-x 2 root root 4096 6月 13 2018 lru 
-rw-rw-r-- 1 root root 1277 6月 13 2018 redis-copy.rb 
-rwxrwxr-x 1 root root 1352 6月 13 2018 redis_init_script 
-rwxrwxr-x 1 root root 1047 6月 13 2018 redis_init_script.tpl 
-rw-rw-r-- 1 root root 1762 6月 13 2018 redis-sha1.rb 
drwxrwxr-x 2 root root 4096 6月 13 2018 releasetools 
-rwxrwxr-x 1 root root 3787 6月 13 2018 speed-regression.tcl 
-rwxrwxr-x 1 root root 693 6月 13 2018 whatisdoing.sh 

第六步:部署节点 1

# ./install_server.sh 
Welcome to the redis service installer This script will help you easily set up a running redis server 
Please select the redis port for this instance: [6379] Selecting default: 6379 
Please select the redis config file name [/etc/redis/6379.conf] /data/redis/conf/6379.conf 
Please select the redis log file name [/var/log/redis_6379.log] /data/redis/logs/6379.log 
Please select the data directory for this instance [/var/lib/redis/6379] /data/redis/data/6379 Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config: Port : 6379 
Config file : /data/redis/6379.conf 
Log file : /data/redis/logs/6379.log 
Data dir : /data/redis/6379 
Executable : /usr/local/bin/redis-server 
Cli Executable : /usr/local/bin/redis-cli 
Is this ok? 
Then press ENTER to go on or Ctrl-C to abort. 
Copied /tmp/6379.conf => /etc/init.d/redis_6379 
Installing service... Successfully added to chkconfig! 
Successfully added to runlevels 345! 
Starting Redis server... Installation successful!

注意:
①.如果是部署单机 Redis,到这里就算结束了。
②.由于部署的集群是单机双实例(如果有条件的话,可以一台机器只部署一个节点),所以第六步和第七步都要执行。
第七步:部署节点 2

# ./install_server.sh 
Welcome to the redis service installer This script will help you easily set up a running redis server 
Please select the redis port for this instance: [6379] 6380 
Please select the redis config file name [/etc/redis/6380.conf] /data/redis/conf/6380.conf 
Please select the redis log file name [/var/log/redis_6380.log] /data/redis/logs/6380.log 
Please select the data directory for this instance [/var/lib/redis/6380] /data/redis/data/6380 Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config: Port : 6380 
Config file : /data/redis/6380.conf 
Log file : /data/redis/logs/6380.log 
Data dir : /data/redis/6380 
Executable : /usr/local/bin/redis-server 
Cli Executable : /usr/local/bin/redis-cli 
Is this ok? 
Then press ENTER to go on or Ctrl-C to abort. 
Copied /tmp/6380.conf => /etc/init.d/redis_6380 
Installing service... Successfully added to chkconfig! 
Successfully added to runlevels 345! 
Starting Redis server... Installation successful!

第八步:检查

# tree -L 3 
 . 
└── redis 
    ├── 6379 
    ├── 6379.conf 
    ├── 6380 
    ├── 6380.conf 
    └── logs 
        ├── 6379.log 
        └── 6380.log 
4 directories, 4 files

另外的两台机器按照上面的步骤(第一步到第八步)操作即可。
第九步:配置

# sed -i "s/# cluster-enabled yes/cluster-enabled yes/g;s/bind 127.0.0.1/bind 192.168.43.120 127.0.0.1/g" /data/redis/*.conf

注意:在另外两台机器同样执行那条命令,只需将 192.168.43.120 换成本机的 IP 即可;

第十步:重启 Redis 使配置生效

# /etc/init.d/redis_6379 restart

第十一步:检查
redis-cluster-01:

# netstat -lntp
Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.120:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.120:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd 
tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.120:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.120:16380 0.0.0.0:* LISTEN 9495/redis-server 1

redis-cluster-02:

# netstat -lntp
Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.121:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.121:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd 
tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.121:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.121:16380 0.0.0.0:* LISTEN 9495/redis-server 1

redis-cluster-03:

# netstat -lntp
Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.122:6379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.122:6380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd 
tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 192.168.43.122:16379 0.0.0.0:* LISTEN 9485/redis-server 1 
tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 
tcp 0 0 192.168.43.122:16380 0.0.0.0:* LISTEN 9495/redis-server 1

第十二步:Redis 优化
在我们启动 Redis 的时候,查看 Redis 的启动日志,官方很友好的将一些需要优化的都给我们明显的标出来了,我们只需要按照那个修改即可,如有别的需求可以自行查看官方相关参数进行修改;如下即是 Redis 启动时的优化提示:

9375:M 15 May 11:14:28.574 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 
9375:M 15 May 11:14:28.574 # Server initialized 
9375:M 15 May 11:14:28.574 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 
9375:M 15 May 11:14:28.574 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
# echo 1024 > /proc/sys/net/core/somaxconn 
# echo "vm.overcommit_memory = 1" >>/etc/sysctl.conf 
# sysctl -p 
# echo never > /sys/kernel/mm/transparent_hugepage/enabled 
# echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >>/etc/rc.local

另外两台机器同样执行上面的操作。
第十三步:安装 gem

# yum -y install ruby ruby-devel rubygems rpm-build 
# gem install -l redis-3.0.0.gem 
Successfully installed redis-3.0.0 
Parsing documentation for redis-3.0.0 
Installing ri documentation for redis-3.0.0 
1 gem installed

上面的 gem 文件我已上传到百度云网盘

链接:https://pan.baidu.com/s/1B-Zk1KAPjUrJzCpvAZaU_w  
密码:1kbv

第十四步:创建集群

# redis-trib.rb create --replicas 1 192.168.43.120:6379 192.168.43.121:6379 192.168.43.122:6379 192.168.43.120:6380 192.168.43.121:6380 192.168.43.122:6380
>>> Creating cluster 
auses ArgumentError in the next release 
warning: this causes ArgumentError in the next release 
>>> Performing hash slots allocation on 6 nodes... 
Using 3 masters: 
192.168.43.120:6379 
192.168.43.121:6379 
192.168.43.122:6379 
Adding replica 192.168.43.121:6380 to 192.168.43.120:6379 
Adding replica 192.168.43.122:6380 to 192.168.43.121:6379 
Adding replica 192.168.43.120:6380 to 192.168.43.122:6379 
M: 79e82a8357f67ac623479cc76575b39c9f7b8b39 192.168.43.120:6379 slots:0-5460 (5461 slots) master 
M: 234af44758281d646f81ee482edd23a0f6c97237 192.168.43.121:6379 slots:5461-10922 (5462 slots) master 
M: 99d4866d25028faae3b03367a39871ab642704ab 192.168.43.122:6379 slots:10923-16383 (5461 slots) master 
S: 19773196edde889421ef4d124ee1b60c2a02d5d5 192.168.43.120:6380 replicates 99d4866d25028faae3b03367a39871ab642704ab 
S: 4dde88648d44c87ff646b134b0e024043eecda40 192.168.43.121:6380 replicates 79e82a8357f67ac623479cc76575b39c9f7b8b39 
S: 686cf842893bdf6e79e10bba28fcc9388848f14f 192.168.43.122:6380 replicates 234af44758281d646f81ee482edd23a0f6c97237 
Can I set the above configuration? (type 'yes' to accept): yes 
>>> Nodes configuration updated 
>>> Assign a different config epoch to each node 
>>> Sending CLUSTER MEET messages to join the cluster 
Waiting for the cluster to join........... 
>>> Performing Cluster Check (using node 192.168.43.120:6379) 
M: 79e82a8357f67ac623479cc76575b39c9f7b8b39 192.168.43.120:6379 slots:0-5460 (5461 slots) master 1 additional replica(s) 
S: 4dde88648d44c87ff646b134b0e024043eecda40 192.168.43.121:6380 slots: (0 slots) slave replicates 79e82a8357f67ac623479cc76575b39c9f7b8b39 
M: 234af44758281d646f81ee482edd23a0f6c97237 192.168.43.121:6379 slots:5461-10922 (5462 slots) master 1 additional replica(s) 
S: 686cf842893bdf6e79e10bba28fcc9388848f14f 192.168.43.122:6380 slots: (0 slots) slave replicates 234af44758281d646f81ee482edd23a0f6c97237 
S: 19773196edde889421ef4d124ee1b60c2a02d5d5 192.168.43.120:6380 slots: (0 slots) slave replicates 99d4866d25028faae3b03367a39871ab642704ab 
M: 99d4866d25028faae3b03367a39871ab642704ab 192.168.43.122:6379 slots:10923-16383 (5461 slots) master 
1 additional replica(s) 
[OK] All nodes agree about slots configuration. 
>>> Check for open slots... 
>>> Check slots coverage... 
[OK] All 16384 slots covered.

当出现两个 OK 就是集群已经创建完毕。
第十五步:Redis 集群设置密码(按照生产需要自行决定)

# redis-cli -h 192.168.43.120 -p 6379 -c --raw 
192.168.43.120:6379> config set requirepass Tnobn?dju89U 
OK 
192.168.43.120:6379> auth Tnobn?dju89U 
OK 
192.168.43.120:6379> exit 
# redis-cli -h 192.168.43.120 -p 6379 -c --raw 
192.168.43.120:6379> config get requirepass 
NOAUTH Authentication required. 
192.168.43.120:6379> auth Tnobn?dju89U 
OK 
192.168.43.120:6379> config get requirepass 
requirepass Tnobn?dju89U 
192.168.43.120:6379> exit 
config set requirepass gnjRg54ish 
auth gnjRg54ish 
config set masterauth gnjRg54ish

上面的配置只是临时的,一旦 Redis 重启就会失效;永久修改只需要在 redis.conf 中添加如下配置,重启即可。

masterauth 密码 
requirepass 密码

Redis 配置文件释义:

Redis的配置
  daemonize:如需要在后台运行,把该项的值改为yes
  pdifile:把pid文件放在/var/run/redis.pid,可以配置到其他地址
  bind:指定redis只接收来自该IP的请求,如果不设置,那么将处理所有请求,在生产环节中最好设置该项
  port:监听端口,默认为6379
  timeout:设置客户端连接时的超时时间,单位为秒
  loglevel:等级分为4级,debug,revbose,notice和warning。生产环境下一般开启notice
  logfile:配置log文件地址,默认使用标准输出,即打印在命令行终端的端口上
  database:设置数据库的个数,默认使用的数据库是0
  save:设置redis进行数据库镜像的频率
  rdbcompression:在进行镜像备份时,是否进行压缩
  dbfilename:镜像备份文件的文件名
  dir:数据库镜像备份的文件放置的路径
  slaveof:设置该数据库为其他数据库的从数据库
  masterauth:当主数据库连接需要密码验证时,在这里设定
  requirepass:设置客户端连接后进行任何其他指定前需要使用的密码
  maxclients:限制同时连接的客户端数
  maxmemory:设置redis能够使用的最大内存
  appendonly:开启appendonly模式后,redis会把每一次所接收到的写操作都追加到appendonly.aof文件中,当redis重新启动时,会从该文件恢复出之前的状态
  appendfsync:设置appendonly.aof文件进行同步的频率
  vm_enabled:是否开启虚拟内存支持
  vm_swap_file:设置虚拟内存的交换文件的路径
  vm_max_momery:设置开启虚拟内存后,redis将使用的最大物理内存的大小,默认为0
  vm_page_size:设置虚拟内存页的大小
  vm_pages:设置交换文件的总的page数量
  vm_max_thrrads:设置vm IO同时使用的线程数量
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    286 引用 • 248 回帖 • 62 关注
  • 集群
    29 引用 • 65 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • 知乎

    知乎是网络问答社区,连接各行各业的用户。用户分享着彼此的知识、经验和见解,为中文互联网源源不断地提供多种多样的信息。

    10 引用 • 66 回帖
  • Typecho

    Typecho 是一款博客程序,它在 GPLv2 许可证下发行,基于 PHP 构建,可以运行在各种平台上,支持多种数据库(MySQL、PostgreSQL、SQLite)。

    12 引用 • 65 回帖 • 439 关注
  • 以太坊

    以太坊(Ethereum)并不是一个机构,而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity,使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物:投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖 • 1 关注
  • 单点登录

    单点登录(Single Sign On)是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成,还支持通过插件进行扩展。

    10 引用 • 5 回帖 • 1 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    75 引用 • 1737 回帖 • 3 关注
  • 运维

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    149 引用 • 257 回帖
  • Caddy

    Caddy 是一款默认自动启用 HTTPS 的 HTTP/2 Web 服务器。

    12 引用 • 54 回帖 • 164 关注
  • Notion

    Notion - The all-in-one workspace for your notes, tasks, wikis, and databases.

    6 引用 • 38 回帖
  • 程序员

    程序员是从事程序开发、程序维护的专业人员。

    568 引用 • 3532 回帖 • 1 关注
  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    106 引用 • 275 回帖
  • WebComponents

    Web Components 是 W3C 定义的标准,它给了前端开发者扩展浏览器标签的能力,可以方便地定制可复用组件,更好的进行模块化开发,解放了前端开发者的生产力。

    1 引用
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    107 引用 • 153 回帖 • 2 关注
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    36 引用 • 35 回帖 • 2 关注
  • SSL

    SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 431 关注
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起,它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖 • 1 关注
  • JetBrains

    JetBrains 是一家捷克的软件开发公司,该公司位于捷克的布拉格,并在俄国的圣彼得堡及美国麻州波士顿都设有办公室,该公司最为人所熟知的产品是 Java 编程语言开发撰写时所用的集成开发环境:IntelliJ IDEA

    18 引用 • 54 回帖 • 1 关注
  • Flutter

    Flutter 是谷歌的移动 UI 框架,可以快速在 iOS 和 Android 上构建高质量的原生用户界面。 Flutter 可以与现有的代码一起工作,它正在被越来越多的开发者和组织使用,并且 Flutter 是完全免费、开源的。

    39 引用 • 92 回帖 • 1 关注
  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    22378 引用 • 89573 回帖
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖
  • 正则表达式

    正则表达式(Regular Expression)使用单个字符串来描述、匹配一系列遵循某个句法规则的字符串。

    31 引用 • 94 回帖
  • Dubbo

    Dubbo 是一个分布式服务框架,致力于提供高性能和透明化的 RPC 远程服务调用方案,是 [阿里巴巴] SOA 服务化治理方案的核心框架,每天为 2,000+ 个服务提供 3,000,000,000+ 次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点。

    60 引用 • 82 回帖 • 597 关注
  • Maven

    Maven 是基于项目对象模型(POM)、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    186 引用 • 318 回帖 • 304 关注
  • Ruby

    Ruby 是一种开源的面向对象程序设计的服务器端脚本语言,在 20 世纪 90 年代中期由日本的松本行弘(まつもとゆきひろ/Yukihiro Matsumoto)设计并开发。在 Ruby 社区,松本也被称为马茨(Matz)。

    7 引用 • 31 回帖 • 210 关注
  • PHP

    PHP(Hypertext Preprocessor)是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点,主要适用于 Web 开发领域,据说是世界上最好的编程语言。

    179 引用 • 407 回帖 • 488 关注
  • Love2D

    Love2D 是一个开源的, 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 530 关注
  • ActiveMQ

    ActiveMQ 是 Apache 旗下的一款开源消息总线系统,它完整实现了 JMS 规范,是一个企业级的消息中间件。

    19 引用 • 13 回帖 • 673 关注