搭建之前先了解一下 MongoDB 分片群集主要有如下三个组件:
Shard:分片服务器,用于存储实际的数据块,实际生产环境中一个 shard server 角色可以由几台服务器组成一个 Peplica Set 承担,防止主机单点故障。
Config Server:配置服务器,存储了整个分片群集的配置信息,其中包括 chunk 信息。
Routers:前端路由,客户端由此接入,且让整个群集看上去像单一数据库,前端应用可以透明使用。
系统环境
Centos7.5、MongoDB4.0.2、关闭防火墙。
IP | 路由服务端口 | 配置服务端口 | 分片 1 端口 | 分片 2 端口 | 分片 3 端口 |
---|---|---|---|---|---|
10.211.55.3 | 27018 | 27018 | 27001 | 27002 | 27003 |
10.211.55.4 | 27018 | 27018 | 27001 | 27002 | 27003 |
10.211.55.5 | 27018 | 27018 | 27001 | 27002 | 27003 |
三台机器的配置服务(27018)形成复制集,分片 1、2、3 也在各机器都部署一个实例,它们之间形成复制集,客户端直接连接 3 个路由服务与之交互,配置服务和分片服务对客户端是透明的。
服务器的安装及配置(3 台服务器执行相同操作)
1、下载解压 MongoDB
到 MongoDB 官网下载:https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.2.tgz
解压到/home/mongodb,设置环境变量:
export PATH=$PATH:/home/mongodb/bin
保存后执行:
srouce /etc/profile
2、创建路由、配置、分片等的相关目录与文件
启动配置文件存放的文件夹:mkdir -p /home/mongodb/conf
配置服务数据存放目录:mkdir -p /home/mongodb/data/config
分片 1 服务数据存放目录:mkdir -p /home/mongodb/data/shard1
分片 2 服务数据存放目录:mkdir -p /home/mongodb/data/shard2
分片 3 服务数据存放目录:mkdir -p /home/mongodb/data/shard3
配置服务日志存放文件:mkdir -p /home/mongodb/log/config.log
路由服务日志存放文件:mkdir -p /home/mongodb/log/mongos.log
分片 1 服务日志存放文件:mkdir -p /home/mongodb/log/shard1.log
分片 2 服务日志存放文件:mkdir -p /home/mongodb/log/shard2.log
分片 3 服务日志存放文件:mkdir -p /home/mongodb/log/shard3.log
配置服务器部署(3 台服务器执行相同操作)
1、在/home/mongodb/conf 目录创建 config.conf:
dbpath=/home/mongodb/data/config
logpath=/home/mongodb/log/config.log
port=27018
logappend=true
fork=true
maxConns=5000
#复制集名称
replSet=configs
#置参数为 true
configsvr=true
#允许任意机器连接
bind_ip=0.0.0.0
2、配置复制集
分别启动三台服务器的配置服务:
mongod -f /home/mongodb/conf/config.conf
连接 mongo,只需在任意一台机器执行即可:
mongo --host 10.211.55.3 --port 27018
切换数据库:
use admin
初始化复制集:
rs.initiate({_id:"configs",members:[{_id:0,host:"10.211.55.3:27018"},{_id:1,host:"10.211.55.4:27018"}, {_id:2,host:"10.211.55.5:27018"}]})
其中_id:"configs"的 configs 是上面 config.conf 配置文件里的复制集名称,把三台服务器的配置服务组成复制集。
查看状态:
rs.status()
等几十秒左右,执行上面的命令查看状态,三台机器的配置服务就已形成复制集,其中 1 台为 PRIMARY,其他 2 台为 SECONDARY。
分片服务部署(3 台服务器执行相同操作)
1、在/home/mongodb/conf 目录创建 shard1.conf、shard2.conf、shard3.conf,内容如下:
dbpath=/home/mongodb/data/shard1 #其他 2 个分片对应修改为 shard2、shard3 文件夹
logpath=/home/mongodb/log/shard1.log #其他 2 个分片对应修改为 shard2.log、shard3.log
port=27001 #其他 2 个分片对应修改为 27002、27003
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true
replSet=shard1 #其他 2 个分片对应修改为 shard2、shard3
bind_ip=0.0.0.0
端口分别是 27001、27002、27003,分别对应 shard1.conf、shard2.conf、shard3.conf。
还有数据存放目录、日志文件这几个地方都需要对应修改。
在 3 台机器的相同端口形成一个分片的复制集,由于 3 台机器都需要这 3 个文件,所以根据这 9 个配置文件分别启动分片服务:
mongod -f /home/mongodb/conf/shard{1/2/3}.conf
2、将分片配置为复制集
连接 mongo,只需在任意一台机器执行即可:
mongo --host 10.211.55.3 --port 27001 //这里以 shard1 为例,其他两个分片则再需对应连接到 27002、27003 的端口进行操作即可
切换数据库:
use admin
初始化复制集:
rs.initiate({_id:"shard1",members:[{_id:0,host:"10.211.55.3:27001"},{_id:1,host:"10.211.55.4:27001"},{_id:2,host:"10.211.55.5:27001"}]})
以上是基于分片 1 来操作,同理,其他 2 个分片也要连到各自的端口来执行一遍上述的操作,让 3 个分片各自形成 1 主 2 从的复制集,注意端口及仲裁节点的问题即可,操作完成后 3 个分片都启动完成,并完成复制集模式。
路由服务部署(3 台服务器执行相同操作)
1、在/home/mongodb/conf 目录创建 mongos.conf,内容如下:
logpath=/home/mongodb/log/mongos.log
logappend = true
port = 27017
fork = true
configdb = configs/10.211.55.3:27018,10.211.55.4:27018,10.211.55.5:27018
maxConns=20000
bind_ip=0.0.0.0
2、启动 mongos
分别在三台服务器启动:
mongos -f /home/mongodb/conf/mongos.conf
3、启动分片功能
连接 mongo:
mongo --host 10.211.55.3 --port 27017
切换数据库:
use admin
添加分片,只需在一台机器执行即可:
sh.addShard("shard1/10.211.55.3:27001,10.211.55.4:27001,10.211.55.5:27001")
sh.addShard("shard2/10.211.55.3:27002,10.211.55.4:27002,10.211.55.5:27002")
sh.addShard("shard3/10.211.55.3:27003,10.211.55.4:27003,10.211.55.5:27003")
查看集群状态:
sh.status()
4、实现分片功能
设置分片 chunk 大小
use config
db.setting.save({"_id":"chunksize","value":1}) # 设置块大小为 1M 是方便实验,不然需要插入海量数据
5、模拟写入数据
use calon
for(i=1;i<=50000;i++){db.user.insert({"id":i,"name":"jack"+i})} #模拟往 calon 数据库的 user 表写入 5 万数据
7、启用数据库分片
sh.enableSharding("calon")
8、创建索引,对表进行分片
db.user.createIndex({"id":1}) # 以"id"作为索引
sh.shardCollection(calon.user",{"id":1}) # 根据"id"对 user 表进行分片
sh.status() # 查看分片情况
到此,MongoDB 分布式集群就搭建完毕。
扫一扫有惊喜: [![imagepng](http://itechor.top/solo/upload/bb791a58c3a84193b7f643b6849482c5_image.png) ](http://ym0214.com)
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于