Redis cluster 部署

本贴最后更新于 1913 天前,其中的信息可能已经时移世易

环境准备:
| 类别 | IP| 规格 | 主机名 |
| 1| 192.168.43.120| 4C8G |redis-cluster-01|
| 2| 192.168.43.121| 4C8G |redis-cluster-02|
| 3| 192.168.43.122| 4C8G |redis-cluster-03|
注意:系统均为 centos7.6,均已关闭 firewalld 和 selinux。
集群架构是三台机器,每台机器部署两个节点,端口分别是 6379 和 6380.

第一步:下载 Redis 离线二进制包

# wget http://download.redis.io/releases/redis-4.0.10.tar.gz

第二步:解压

# tar xf redis-4.0.10.tar.gz # mv redis-4.0.10 /usr/local/redis

第三步:编译&&编译安装

# cd /usr/local/redis # make # make install

第四步:将二进制可执行文件拷贝至/usr/local/bin 或者/usr/bin 目录下

# cd src/ # cp redis-trib.rb /usr/local/bin/

第五步:检查

# cd ../utils/ # ls -l 总用量 76 -rw-rw-r-- 1 root root 593 6月 13 2018 build-static-symbols.tcl -rw-rw-r-- 1 root root 1303 6月 13 2018 cluster_fail_time.tcl -rw-rw-r-- 1 root root 1070 6月 13 2018 corrupt_rdb.c drwxrwxr-x 2 root root 4096 6月 13 2018 create-cluster -rwxrwxr-x 1 root root 2137 6月 13 2018 generate-command-help.rb drwxrwxr-x 3 root root 4096 6月 13 2018 graphs drwxrwxr-x 2 root root 4096 6月 13 2018 hashtable drwxrwxr-x 2 root root 4096 6月 13 2018 hyperloglog -rwxrwxr-x 1 root root 9567 6月 13 2018 install_server.sh drwxrwxr-x 2 root root 4096 6月 13 2018 lru -rw-rw-r-- 1 root root 1277 6月 13 2018 redis-copy.rb -rwxrwxr-x 1 root root 1352 6月 13 2018 redis_init_script -rwxrwxr-x 1 root root 1047 6月 13 2018 redis_init_script.tpl -rw-rw-r-- 1 root root 1762 6月 13 2018 redis-sha1.rb drwxrwxr-x 2 root root 4096 6月 13 2018 releasetools -rwxrwxr-x 1 root root 3787 6月 13 2018 speed-regression.tcl -rwxrwxr-x 1 root root 693 6月 13 2018 whatisdoing.sh

第六步:部署节点 1

# ./install_server.sh Welcome to the redis service installer This script will help you easily set up a running redis server Please select the redis port for this instance: [6379] Selecting default: 6379 Please select the redis config file name [/etc/redis/6379.conf] /data/redis/conf/6379.conf Please select the redis log file name [/var/log/redis_6379.log] /data/redis/logs/6379.log Please select the data directory for this instance [/var/lib/redis/6379] /data/redis/data/6379 Please select the redis executable path [/usr/local/bin/redis-server] Selected config: Port : 6379 Config file : /data/redis/6379.conf Log file : /data/redis/logs/6379.log Data dir : /data/redis/6379 Executable : /usr/local/bin/redis-server Cli Executable : /usr/local/bin/redis-cli Is this ok? Then press ENTER to go on or Ctrl-C to abort. Copied /tmp/6379.conf => /etc/init.d/redis_6379 Installing service... Successfully added to chkconfig! Successfully added to runlevels 345! Starting Redis server... Installation successful!

注意:
①.如果是部署单机 Redis,到这里就算结束了。
②.由于部署的集群是单机双实例(如果有条件的话,可以一台机器只部署一个节点),所以第六步和第七步都要执行。
第七步:部署节点 2

# ./install_server.sh Welcome to the redis service installer This script will help you easily set up a running redis server Please select the redis port for this instance: [6379] 6380 Please select the redis config file name [/etc/redis/6380.conf] /data/redis/conf/6380.conf Please select the redis log file name [/var/log/redis_6380.log] /data/redis/logs/6380.log Please select the data directory for this instance [/var/lib/redis/6380] /data/redis/data/6380 Please select the redis executable path [/usr/local/bin/redis-server] Selected config: Port : 6380 Config file : /data/redis/6380.conf Log file : /data/redis/logs/6380.log Data dir : /data/redis/6380 Executable : /usr/local/bin/redis-server Cli Executable : /usr/local/bin/redis-cli Is this ok? Then press ENTER to go on or Ctrl-C to abort. Copied /tmp/6380.conf => /etc/init.d/redis_6380 Installing service... Successfully added to chkconfig! Successfully added to runlevels 345! Starting Redis server... Installation successful!

第八步:检查

# tree -L 3 . └── redis ├── 6379 ├── 6379.conf ├── 6380 ├── 6380.conf └── logs ├── 6379.log └── 6380.log 4 directories, 4 files

另外的两台机器按照上面的步骤(第一步到第八步)操作即可。
第九步:配置

# sed -i "s/# cluster-enabled yes/cluster-enabled yes/g;s/bind 127.0.0.1/bind 192.168.43.120 127.0.0.1/g" /data/redis/*.conf

注意:在另外两台机器同样执行那条命令,只需将 192.168.43.120 换成本机的 IP 即可;

第十步:重启 Redis 使配置生效

# /etc/init.d/redis_6379 restart

第十一步:检查
redis-cluster-01:

# netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 192.168.43.120:6379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 192.168.43.120:6380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 192.168.43.120:16379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 192.168.43.120:16380 0.0.0.0:* LISTEN 9495/redis-server 1

redis-cluster-02:

# netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 192.168.43.121:6379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 192.168.43.121:6380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 192.168.43.121:16379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 192.168.43.121:16380 0.0.0.0:* LISTEN 9495/redis-server 1

redis-cluster-03:

# netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 192.168.43.122:6379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 127.0.0.1:6380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 192.168.43.122:6380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 5617/sshd tcp 0 0 127.0.0.1:16379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 192.168.43.122:16379 0.0.0.0:* LISTEN 9485/redis-server 1 tcp 0 0 127.0.0.1:16380 0.0.0.0:* LISTEN 9495/redis-server 1 tcp 0 0 192.168.43.122:16380 0.0.0.0:* LISTEN 9495/redis-server 1

第十二步:Redis 优化
在我们启动 Redis 的时候,查看 Redis 的启动日志,官方很友好的将一些需要优化的都给我们明显的标出来了,我们只需要按照那个修改即可,如有别的需求可以自行查看官方相关参数进行修改;如下即是 Redis 启动时的优化提示:

9375:M 15 May 11:14:28.574 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 9375:M 15 May 11:14:28.574 # Server initialized 9375:M 15 May 11:14:28.574 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 9375:M 15 May 11:14:28.574 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
# echo 1024 > /proc/sys/net/core/somaxconn # echo "vm.overcommit_memory = 1" >>/etc/sysctl.conf # sysctl -p # echo never > /sys/kernel/mm/transparent_hugepage/enabled # echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >>/etc/rc.local

另外两台机器同样执行上面的操作。
第十三步:安装 gem

# yum -y install ruby ruby-devel rubygems rpm-build # gem install -l redis-3.0.0.gem Successfully installed redis-3.0.0 Parsing documentation for redis-3.0.0 Installing ri documentation for redis-3.0.0 1 gem installed

上面的 gem 文件我已上传到百度云网盘

链接:https://pan.baidu.com/s/1B-Zk1KAPjUrJzCpvAZaU_w 密码:1kbv

第十四步:创建集群

# redis-trib.rb create --replicas 1 192.168.43.120:6379 192.168.43.121:6379 192.168.43.122:6379 192.168.43.120:6380 192.168.43.121:6380 192.168.43.122:6380 >>> Creating cluster auses ArgumentError in the next release warning: this causes ArgumentError in the next release >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 192.168.43.120:6379 192.168.43.121:6379 192.168.43.122:6379 Adding replica 192.168.43.121:6380 to 192.168.43.120:6379 Adding replica 192.168.43.122:6380 to 192.168.43.121:6379 Adding replica 192.168.43.120:6380 to 192.168.43.122:6379 M: 79e82a8357f67ac623479cc76575b39c9f7b8b39 192.168.43.120:6379 slots:0-5460 (5461 slots) master M: 234af44758281d646f81ee482edd23a0f6c97237 192.168.43.121:6379 slots:5461-10922 (5462 slots) master M: 99d4866d25028faae3b03367a39871ab642704ab 192.168.43.122:6379 slots:10923-16383 (5461 slots) master S: 19773196edde889421ef4d124ee1b60c2a02d5d5 192.168.43.120:6380 replicates 99d4866d25028faae3b03367a39871ab642704ab S: 4dde88648d44c87ff646b134b0e024043eecda40 192.168.43.121:6380 replicates 79e82a8357f67ac623479cc76575b39c9f7b8b39 S: 686cf842893bdf6e79e10bba28fcc9388848f14f 192.168.43.122:6380 replicates 234af44758281d646f81ee482edd23a0f6c97237 Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join........... >>> Performing Cluster Check (using node 192.168.43.120:6379) M: 79e82a8357f67ac623479cc76575b39c9f7b8b39 192.168.43.120:6379 slots:0-5460 (5461 slots) master 1 additional replica(s) S: 4dde88648d44c87ff646b134b0e024043eecda40 192.168.43.121:6380 slots: (0 slots) slave replicates 79e82a8357f67ac623479cc76575b39c9f7b8b39 M: 234af44758281d646f81ee482edd23a0f6c97237 192.168.43.121:6379 slots:5461-10922 (5462 slots) master 1 additional replica(s) S: 686cf842893bdf6e79e10bba28fcc9388848f14f 192.168.43.122:6380 slots: (0 slots) slave replicates 234af44758281d646f81ee482edd23a0f6c97237 S: 19773196edde889421ef4d124ee1b60c2a02d5d5 192.168.43.120:6380 slots: (0 slots) slave replicates 99d4866d25028faae3b03367a39871ab642704ab M: 99d4866d25028faae3b03367a39871ab642704ab 192.168.43.122:6379 slots:10923-16383 (5461 slots) master 1 additional replica(s) [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered.

当出现两个 OK 就是集群已经创建完毕。
第十五步:Redis 集群设置密码(按照生产需要自行决定)

# redis-cli -h 192.168.43.120 -p 6379 -c --raw 192.168.43.120:6379> config set requirepass Tnobn?dju89U OK 192.168.43.120:6379> auth Tnobn?dju89U OK 192.168.43.120:6379> exit # redis-cli -h 192.168.43.120 -p 6379 -c --raw 192.168.43.120:6379> config get requirepass NOAUTH Authentication required. 192.168.43.120:6379> auth Tnobn?dju89U OK 192.168.43.120:6379> config get requirepass requirepass Tnobn?dju89U 192.168.43.120:6379> exit
config set requirepass gnjRg54ish auth gnjRg54ish config set masterauth gnjRg54ish

上面的配置只是临时的,一旦 Redis 重启就会失效;永久修改只需要在 redis.conf 中添加如下配置,重启即可。

masterauth 密码 requirepass 密码

Redis 配置文件释义:

Redis的配置   daemonize:如需要在后台运行,把该项的值改为yes   pdifile:把pid文件放在/var/run/redis.pid,可以配置到其他地址   bind:指定redis只接收来自该IP的请求,如果不设置,那么将处理所有请求,在生产环节中最好设置该项   port:监听端口,默认为6379   timeout:设置客户端连接时的超时时间,单位为秒   loglevel:等级分为4级,debug,revbose,notice和warning。生产环境下一般开启notice   logfile:配置log文件地址,默认使用标准输出,即打印在命令行终端的端口上   database:设置数据库的个数,默认使用的数据库是0   save:设置redis进行数据库镜像的频率   rdbcompression:在进行镜像备份时,是否进行压缩   dbfilename:镜像备份文件的文件名   dir:数据库镜像备份的文件放置的路径   slaveof:设置该数据库为其他数据库的从数据库   masterauth:当主数据库连接需要密码验证时,在这里设定   requirepass:设置客户端连接后进行任何其他指定前需要使用的密码   maxclients:限制同时连接的客户端数   maxmemory:设置redis能够使用的最大内存   appendonly:开启appendonly模式后,redis会把每一次所接收到的写操作都追加到appendonly.aof文件中,当redis重新启动时,会从该文件恢复出之前的状态   appendfsync:设置appendonly.aof文件进行同步的频率   vm_enabled:是否开启虚拟内存支持   vm_swap_file:设置虚拟内存的交换文件的路径   vm_max_momery:设置开启虚拟内存后,redis将使用的最大物理内存的大小,默认为0   vm_page_size:设置虚拟内存页的大小   vm_pages:设置交换文件的总的page数量   vm_max_thrrads:设置vm IO同时使用的线程数量
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    284 引用 • 248 回帖 • 4 关注
  • 集群
    29 引用 • 65 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展,它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖
  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    34 引用 • 37 回帖 • 555 关注
  • VirtualBox

    VirtualBox 是一款开源虚拟机软件,最早由德国 Innotek 公司开发,由 Sun Microsystems 公司出品的软件,使用 Qt 编写,在 Sun 被 Oracle 收购后正式更名成 Oracle VM VirtualBox。

    10 引用 • 2 回帖 • 12 关注
  • 钉钉

    钉钉,专为中国企业打造的免费沟通协同多端平台, 阿里巴巴出品。

    15 引用 • 67 回帖 • 259 关注
  • 反馈

    Communication channel for makers and users.

    120 引用 • 906 回帖 • 279 关注
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖 • 6 关注
  • 印象笔记
    3 引用 • 16 回帖
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    10321 引用 • 46860 回帖 • 61 关注
  • CodeMirror
    2 引用 • 17 回帖 • 177 关注
  • Solidity

    Solidity 是一种智能合约高级语言,运行在 [以太坊] 虚拟机(EVM)之上。它的语法接近于 JavaScript,是一种面向对象的语言。

    3 引用 • 18 回帖 • 451 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    61 引用 • 29 回帖 • 6 关注
  • Electron

    Electron 基于 Chromium 和 Node.js,让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目,兼容 Mac、Windows 和 Linux,它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖 • 4 关注
  • RIP

    愿逝者安息!

    8 引用 • 92 回帖 • 412 关注
  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    52 引用 • 228 回帖
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations,简称 DJI),成立于 2006 年,是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商,客户遍布全球 100 多个国家。通过持续的创新,大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖
  • Dubbo

    Dubbo 是一个分布式服务框架,致力于提供高性能和透明化的 RPC 远程服务调用方案,是 [阿里巴巴] SOA 服务化治理方案的核心框架,每天为 2,000+ 个服务提供 3,000,000,000+ 次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点。

    60 引用 • 82 回帖 • 618 关注
  • MySQL

    MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 是最流行的关系型数据库管理系统之一。

    694 引用 • 537 回帖
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台,用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统(CMS)来使用。WordPress 是一个免费的开源项目,在 GNU 通用公共许可证(GPLv2)下授权发布。

    46 引用 • 114 回帖 • 159 关注
  • C

    C 语言是一门通用计算机编程语言,应用广泛。C 语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。

    86 引用 • 165 回帖 • 1 关注
  • 浅吟主题

    Jeffrey Chen 制作的思源笔记主题,项目仓库:https://github.com/TCOTC/Whisper

    2 引用 • 32 回帖
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    142 引用 • 442 回帖
  • 周末

    星期六到星期天晚,实行五天工作制后,指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖 • 1 关注
  • H2

    H2 是一个开源的嵌入式数据库引擎,采用 Java 语言编写,不受平台的限制,同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式,可以兼容一些主流的数据库,因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 675 关注
  • 旅游

    希望你我能在旅途中找到人生的下一站。

    101 引用 • 905 回帖
  • abitmean

    有点意思就行了

    33 关注
  • 博客

    记录并分享人生的经历。

    273 引用 • 2389 回帖 • 4 关注
  • JSON

    JSON (JavaScript Object Notation)是一种轻量级的数据交换格式。易于人类阅读和编写。同时也易于机器解析和生成。

    53 引用 • 190 回帖 • 3 关注