搭建高可用 mongodb 集群（副本集）

先提出以下几个问题：

主节点挂了能否自动切换连接？目前需要手工切换。
主节点的读写压力过大如何解决？
从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？
数据压力大到机器支撑不了的时候能否做到自动扩展？

这篇文章看完这些问题就可以搞定了。NoSQL 的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。但是光通过主从模式的架构远远达不到上面几点，由此 MongoDB 设计了副本集和分片的功能。这篇文章主要介绍副本集：

mongoDB 官方已经不建议使用主从模式了，替代方案是采用副本集的模式，点击查看，如图：

那什么是副本集呢？打魔兽世界总说打副本，其实这两个概念差不多一个意思。游戏里的副本是指玩家集中在高峰时间去一个场景打怪，会出现玩家暴多怪物少的情况，游戏开发商为了保证玩家的体验度，就为每一批玩家单独开放一个同样的空间同样的数量的怪物，这一个复制的场景就是一个副本，不管有多少个玩家各自在各自的副本里玩不会互相影响。 mongoDB 的副本也是这个，主从模式其实就是一个单副本的应用，没有很好的扩展性和容错性。而副本集具有多个副本保证了容错性，就算一个副本挂掉了还有很多副本存在，并且解决了上面第一个问题“主节点挂掉了，整个集群内会自动切换”。难怪 mongoDB 官方推荐使用这种模式。我们来看看 mongoDB 副本集的架构图：

由图可以看到客户端连接到整个副本集，不关心具体哪一台机器是否挂掉。主服务器负责整个副本集的读写，副本集定期同步数据备份，一但主节点挂掉，副本节点就会选举一个新的主服务器，这一切对于应用服务器不需要关心。我们看一下主服务器挂掉后的架构：

副本集中的副本节点在主节点挂掉后通过心跳机制检测到后，就会在集群内发起主节点的选举机制，自动选举一位新的主服务器。看起来很牛 X 的样子，我们赶紧操作部署一下！
官方推荐的副本集机器数量为至少 3 个，那我们也按照这个数量配置测试。

1.准备两台机器

10.55.15.124、10.55.15.137、10.55.15.178。 10.55.15.124 当作副本集主节点，10.55.15.137、10.55.15.178 作为副本集副本节点。

2.分别在每台机器上建立 mongodb 副本集测试文件夹

#存放整个mongodb文件
mkdir -p /data/mongodb/replset

#存放整个mongodb日志文件
mkdir -p /data/mongodb/replset/logs
 
#存放mongodb数据文件
mkdir -p /data/mongodb/replset/data
 
#进入mongodb文件夹
cd  /data/mongodb

3.安装 mongodb

注意 linux 生产环境不能安装 32 位的 mongodb，因为 32 位受限于操作系统最大 2G 的文件限制（安装步骤略）

4.分别在每台机器上启动 mongodb(两种启动方式)
- 前台启动

mongod  --dbpath /data/mongodb/replset/data   --replSet replset

- 后台启动（配置文件方式）
  vim replset.conf

dbpath = /data/mongodb/replset/data/
logpath = /data/mongodb/replset/logs/replset.log
logappend = true
port = 27017 
rest = true
replSet = replset 
fork = true
oplogSize = 4000
directoryperdb = true
nohttpinterface = true
profile = 0

5.初始化副本集
在三台机器上任意一台机器登陆 mongodb,这里以 10.55.15.124 为例

mongo 10.55.15.124:27017
 
#使用admin数据库
use admin
#定义副本集配置变量，这里的 _id:”replset” 和上面命令参数“ –replSet replset” 要保持一样。

config = { _id:"replset", members:[
... {_id:0,host:"10.55.15.137:27017"},
... {_id:1,host:"10.55.15.124:27017"},
... {_id:2,host:"10.55.15.178:27016"}]
... }

# 上面未设置优先级，优先级默认都为1，可根据服务器的配置，进行人为添加priority优先级调整
config = { _id:"replset", members:[
... {_id:0,host:"10.55.15.137:27017,priority: 100"},
... {_id:1,host:"10.55.15.124:27017,priority: 70"},
... {_id:2,host:"10.55.15.178:27016,priority: 50"}]
... }

输出：

{
        "_id" : "replset",
        "members" : [
                {
                        "_id" : 0,
                        "host" : "10.55.15.137:27017"
                },
                {
                        "_id" : 1,
                        "host" : "10.55.15.124:27017"
                },
                {
                        "_id" : 2,
                        "host" : "10.55.15.178:27016"
                }
        ]
}

6.初始化副本集配置

rs.initiate(config);

- 成功输出

{ "ok" : 1 }

- 失败输出：

{
        "ok" : 0,
        "errmsg" : "replSetInitiate quorum check failed because not all proposed set members responded affirmatively: 10.55.151.137:27017 failed with Couldn't get a connection within the time limit",
        "code" : 74,
        "codeName" : "NodeNotFound"
}

- 失败解决方案

检查防火墙，是否已放行端口或已关闭；

#RedHat/CentOS 6 查看防火墙状态
 service iptables status
#关闭防火墙
 service iptables stop 
 
# CentOS 7关闭防火墙
 systemctl stop firewalld

防火墙放过端口

vim /etc/sysconfig/iptables
# 在规则最上方加入下面两条规则
-A INPUT -p tcp --destination-port 27017 -m state --state NEW,ESTABLISHED -j ACCEPT
-A OUTPUT -p tcp --source-port 27017 -m state --state ESTABLISHED -j ACCEPT
#  重启防火墙

service iptables restart

检查是不是手贱输错 ip，导致 ip 不在同一局域网

7.检查状态

# 查看副本状态
rs.status()

输出：

{
	"set" : "replset",
	"date" : ISODate("2017-07-27T00:55:15.505Z"),
	"myState" : 1,
	"term" : NumberLong(2),
	"heartbeatIntervalMillis" : NumberLong(2000),
	"members" : [
		{
			"_id" : 0,
			"name" : "10.55.15.137:27017",
			"health" : 1,					# 1 说明是运行正常，没有挂掉，0则说明该节点已经挂掉
			"state" : 2,
			"stateStr" : "SECONDARY",    #SECONDARY说明是副本集副本节点
			"uptime" : 566,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"lastHeartbeat" : ISODate("2017-07-27T00:55:15.081Z"),
			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:14.126Z"),
			"pingMs" : NumberLong(7),
			"syncingTo" : "10.55.15.124:27017",
			"configVersion" : 1
		},
		{
			"_id" : 1,
			"name" : "10.55.15.124:27017",
			"health" : 1,				# 1 说明是运行正常，没有挂掉，0则说明该节点已经挂掉
			"state" : 1,
			"stateStr" : "PRIMARY",     #PRIMARY说明是副本集主节点
			"uptime" : 593,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"electionTime" : Timestamp(1501116355, 1),
			"electionDate" : ISODate("2017-07-27T00:45:55Z"),
			"configVersion" : 1,
			"self" : true
		},
		{
			"_id" : 2,
			"name" : "10.55.15.178:27016",
			"health" : 1,				    # 1 说明是运行正常，没有挂掉，0则说明该节点已经挂掉
			"state" : 2,
			"stateStr" : "SECONDARY",      #SECONDARY说明是副本集副本节点
			"uptime" : 537,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"lastHeartbeat" : ISODate("2017-07-27T00:55:14.769Z"),
			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:13.643Z"),
			"pingMs" : NumberLong(2),
			"syncingTo" : "10.55.15.137:27017",
			"configVersion" : 1
		}
	],
	"ok" : 1
}

8.查看配置信息
rs.conf()

priority 的优先级越高，成为主节点的概率越高，一开始我们没有指定优先级，则优先级默认都为 1，可以根据服务器的配置进行一定的优先级调整(在初始化之前设置)

{
	"_id" : "replset",
	"version" : 1,
	"protocolVersion" : NumberLong(1),
	"members" : [
		{
			"_id" : 0,
			"host" : "10.55.15.137:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,   # 优先级越高，成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 1,
			"host" : "10.55.15.124:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,  # 优先级越高，成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 2,
			"host" : "10.55.15.178:27016",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,   # 优先级越高，成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		}
	],
	"settings" : {
		"chainingAllowed" : true,
		"heartbeatIntervalMillis" : 2000,
		"heartbeatTimeoutSecs" : 10,
		"electionTimeoutMillis" : 10000,
		"getLastErrorModes" : {
			
		},
		"getLastErrorDefaults" : {
			"w" : 1,
			"wtimeout" : 0
		}
	}
}

9.仲裁

在 MongoDB 的副本集群中，还有一个角色叫做仲裁服务器，它的特点是只参与投票选举，而不会同步数据。MongoDB 的配置与其他副本节点服务器相同，同样也要保证没有数据且启用了--replSet 参数。

在 mongodb 与 spring 整合，使用副本集模式时，配置文件中只需配置一个仲裁节点的 ip 及端口即可找到所有节点，不能配置主节点或其他副本节点

我们可以通过下面的步骤来新增一台仲裁服务器。
这里新启动了一个 mongodb 节点（10.55.15.124:27016），连接 mongodb 主节点执行如下操作

use admin
#添加仲裁节点
replset:PRIMARY>rs.addArb("10.55.15.124:27016");

# 查看状态
rs.status();

10.测试
- 测试主节点和副本节点读写

10.55.15.124:27017 为主节点，可读可写

mongo 10.55.15.124:27017
replset:PRIMARY> use test
switched to db test
replset:PRIMARY> db.user.insert({name:"郑明亮"})
WriteResult({ "nInserted" : 1 })
repset:PRIMARY> db.user.find()
{ "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
{ "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "郑明亮" }

10.55.15.178 为副本节点，只读(默认不可读，可先设置 db.getMongo().setSlaveOk()，然后进行可读操作)

mongo 10.55.15.178:17016

replset:SECONDARY> use test
switched to db test

replset:SECONDARY> db.user.insert({name:"郑明亮"})
WriteResult({ "writeError" : { "code" : 10107, "errmsg" : "not master" } })

# 副本节点默认也不可读
replset:SECONDARY> db.user.find().pretty();
Error: error: { "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435 }
##设置slaveOk为true
db.getMongo().setSlaveOk();
replset:SECONDARY> db.user.find().pretty();
{ "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
{ "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "郑明亮" }

- 模拟主节点故障

干掉 10.55.15.124:27017 主节点

[root@rocketmq-master1 server]# mongod --shutdown --dbpath=/data/mongodb/replset/data/
killing process with pid: 12975

干掉后，其他副本节点会说 10.55.15.124 连不上了
不过此时再登陆可用的这两台 mongodb 其中任意一台,以 10.55.15.137:27017 为例
查看状态

repset:PRIMARY>rs.status()

让挂掉的节点重新上线后，再查看状态

使用 docker 搭建 redis-cluster 集群

[图片] 先决条件了解 docker 基础知识和网络模式熟练使用 docker 常用命令网络模式使用 host 主机模式（自定义组网模式待验证）开始构建示例命令 docker run -itd --name redis-node-x -v /home/redis/share/redis-node-x:/dat ..

ElasticSearch 系列（1）【空集群】

ElasticSearch 集群是什么？一个运行中的 Es 实例我们称之一个节点，一个集群是指由一个或多个有相同 cluster.name 的节点组合而成，集群中所有节点会共同负载和分担所有压力。当集群内新增或者删除节点时，集群会重新平均分配所有的数据到每个节点集群的主节点当一个运行中的节点被选举为主节点的时 ..

Windows 平台 Redis Cluster 集群模式的坑

[图片] 在一台迷の Windows 机器上搭建了一个单节点模拟的三主三从 redis 集群，过程中有一些坑记录下。 cluster 模式 Redis 的 Cluster 模式工作至少需要三个主节点，所以一般采用三主三从实现负载。较理想的环境是一个实例单节点部署主从，多个实例实现集群。 [图片] 由于 Redis C ..

请求量过大，这谁顶得住啊！

这谁顶得住啊！自从上次项目拆分的优化后，用户的体验好了很多，流量自然是有所增长。对公司对这个项目来说，有增长是好事。但服务器却有些顶不住了。 [图片] 好在，上次有一名叫小李的程序员，在休息时间摸鱼时了解到了一个新的名词集群。听说使用集群能解决单台服务器资源不足的问题，在把原来单台服务器的项目，同时部署在另外一 ..

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

关于

搭建高可用 mongodb 集群（副本集）

相关帖子

使用 docker 搭建 redis-cluster 集群

openresty 实战之 Redis 集群使用

ElasticSearch 系列（1）【空集群】

Redis cluster 部署

Windows 平台 Redis Cluster 集群模式的坑

请求量过大，这谁顶得住啊！

redis 镜像使用的正确姿势

欢迎来到这里！

近期热议

推荐标签标签

最新标签

搭建高可用 mongodb 集群（副本集）

相关帖子

使用 docker 搭建 redis-cluster 集群

openresty 实战之 Redis 集群使用

ElasticSearch 系列（1）【空集群】

Redis cluster 部署

Windows 平台 Redis Cluster 集群模式的坑

请求量过大，这谁顶得住啊！

redis 镜像使用的正确姿势

欢迎来到这里！

近期热议

推荐标签 标签

最新标签

推荐标签标签