登录 注册

持续集成与容器管理

本贴最后更新于 2115 天前，其中的信息可能已经事过景迁

1 DockerMaven 插件

微服务部署有两种方法:

(1)手动部署:首先基于源码打包生成 jar 包(或 war 包),将 jar 包(或 war 包)上传至虚拟机并拷贝至 JDK 容器。

(2)通过 Maven 插件自动部署。

对于数量众多的微服务，手动部署无疑是非常麻烦的做法，并且容易出错。所以我们这里学习如何自动部署，这也
是企业实际开发中经常使用的方法。

Maven 插件自动部署步骤:
(1)修改宿主机的 docker 配置，让其可以远程访问

vi /lib/systemd/system/docker.service

其中 ExecStart=后添加配置 -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock
修改后如下:

image.png

(2)刷新配置，重启服务

systemctl daemon-reload
systemctl restart docker
docker start registry

(3)在工程 pom.xml 增加配置

<build>
    <finalName>app</finalName>
    <plugins> 
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId> 
        </plugin>

       <!-- docker的maven插件，官网:https://github.com/spotify/docker-maven-plugin

        <plugin>
            <groupId>com.spotify</groupId>
            <artifactId>docker-maven-plugin</artifactId>
            <version>0.4.13</version>
            <configuration> 
            <imageName>192.168.184.141:5000/${project.artifactId}:${project.version} </imageName>
            <baseImage>jdk1.8</baseImage> 
            <entryPoint>["java", "-jar", "/${project.build.finalName}.jar"] </entryPoint> 
            <resources>
                <resource> 
                    <targetPath>/</targetPath>
                    <directory>${project.build.directory}</directory>
                    <include>${project.build.finalName}.jar</include> 
                </resource>
           </resources> 
         <dockerHost>http://192.168.184.141:2375</dockerHost>
        </configuration> 
       </plugin>
    </plugins> 
</build>

(4)以上配置会自动生成 Dockerfile

FROM jdk1.8
ADD app.jar /
ENTRYPOINT ["java","-jar","/app.jar"]

(5)在 windows 的命令提示符下，进入工程 tensquare_parent 所在的目录

mvn install

进入 tensquare_base 所在的目录，输入以下命令，进行打包和上传镜像

mvn docker:build  -DpushImage

执行后，会有如下输出，代码正在上传

image.png

(6)进入宿主机 , 查看镜像

docker images

image.png

输出如上内容，表示微服务已经做成镜像
浏览器访问 http://192.168.184.141:5000/v2/_catalog ，输出
image.png

(7) 启动容器:

docker run -di --name=base -p 9001:9001 192.168.184.141:5000/tensquare_base:1.0-SNAPSHOT

2 持续集成工具-Jenkins

2.1 什么是持续集成

持续集成 Continuous integration ，简称 CI

随着软件开发复杂度的不断提高，团队开发成员间如何更好地协同工作以确保软件开发的质量已经慢慢成为开发过 程中不可回避的问题。尤其是近些年来，敏捷(Agile) 在软件工程领域越来越红火，如何能再不断变化的需求中 快速适应和保证软件的质量也显得尤其的重要。

持续集成正是针对这一类问题的一种软件开发实践。它倡导团队开发成员必须经常集成他们的工作，甚至每天都可
能发生多次集成。而每次的集成都是通过自动化的构建来验证，包括自动编译、发布和测试，从而尽快地发现集成
错误，让团队能够更快的开发内聚的软件。

持续集成具有的特点:

  • 它是一个自动化的周期性的集成测试过程，从检出代码、编译构建、运行测试、结果记录、测试统计等都是 自动完成的，无需人工干预;
  • 需要有专门的集成服务器来执行集成构建;
  • 需要有代码托管工具支持，我们下一小节将介绍 Git 以及可视化界面 Gogs 的使用

持续集成的作用:

  • 保证团队开发人员提交代码的质量，减轻了软件发布时的压力;
  • 持续集成中的任何一个环节都是自动完成的，无需太多的人工干预，有利于减少重复过程以节省时间、费用
    和工作量;

2.2 Jenkins 简介

Jenkins，原名 Hudson，2011 年改为现在的名字，它 是一个开源的实现持续集成的软件工具。官方网站:

http://jenkins-ci.org/。
Jenkins 能实施监控集成中存在的错误，提供详细的日志文件和提醒功能，还能用图表的形式形象地展示项目构建

的趋势和稳定性。 特点:

  • 易安装:仅仅一个 java -jar jenkins.war，从官网下载该文件后，直接运行，无需额外的安装，更无需安装数 据库;
  • 易配置:提供友好的 GUI 配置界面;
  • 变更支持:Jenkins 能从代码仓库(Subversion/CVS)中获取并产生代码更新列表并输出到编译输出信息中;
  • 支持永久链接:用户是通过 web 来访问 Jenkins 的，而这些 web 页面的链接地址都是永久链接地址，因此，你 可以在各种文档中直接使用该链接;
  • 集成 E-Mail/RSS/IM:当完成一次集成时，可通过这些工具实时告诉你集成结果(据我所知，构建一次集成需 要花费一定时间，有了这个功能，你就可以在等待结果过程中，干别的事情);
  • JUnit/TestNG 测试报告:也就是用以图表等形式提供详细的测试报表功能;
  • 支持分布式构建:Jenkins 可以把集成构建等工作分发到多台计算机中完成;
  • 文件指纹信息:Jenkins 会保存哪次集成构建产生了哪些 jars 文件，哪一次集成构建使用了哪个版本的 jars 文件 等构建记录;
  • 支持第三方插件:使得 Jenkins 变得越来越强大

2.3 Jenkins 安装

2.3.1 JDK 安装

(1)将 jdk-8u171-linux-x64.rpm 上传至服务器(虚拟机)

(2)执行安装命令

rpm -ivh jdk-8u171-linux-x64.rpm

RPM 方式安装 JDK，其根目录为:/usr/java/jdk1.8.0_171-amd64

2.3.2 Jenkins 安装与启动

(1)下载 jenkins 或将 jenkins-2.83-1.1.noarch.rpm 上传至服务器

wget https://pkg.jenkins.io/redhat/jenkins-2.83-1.1.noarch.rpm

(2)安装 jenkins

rpm -ivh jenkins-2.83-1.1.noarch.rpm

(3)配置 jenkins

vi /etc/sysconfig/jenkins

修改用户和端口

JENKINS_USER="root"
JENKINS_PORT="8888"

(4)启动服务

systemctl start jenkins

(5)访问链接 http://192.168.184.135:8888 从/var/lib/jenkins/secrets/initialAdminPassword 中获取初始密码串

image.png

(6)安装插件

image.png
image.png

(7)新建用户
image.png

完成安装进入主界面

image.png

2.4 Jenkins 插件安装

我们以安装 maven 插件为例，演示插件的安装
(1)点击左侧的“系统管理”菜单 ,然后点击
image.png

(2)选择“可选插件”选项卡，搜索 maven，在列表中选择 Maven Integration ，点击“直接安装”按钮
image.png

看到如下图时，表示已经完成
image.png

2.5 全局工具配置

2.5.1 安装 Maven 与本地仓库

(1)将 Maven 压缩包上传至服务器(虚拟机)

(2)解压

tar zxvf apache-maven-3.5.4-bin.tar.gz

(3)移动目录

mv apache-maven-3.5.4 /usr/local/maven

(4)编辑 setting.xml 配置文件 vi /usr/local/maven/conf/settings.xml ，配置本地仓库目录,内容如下

<localRepository>/usr/local/repository</localRepository>

(5)将开发环境的本地仓库上传至服务器(虚拟机)并移动到/usr/local/repository 。

mv reponsitory_boot /usr/local/repository

执行此步是为了以后在打包的时候不必重新下载，缩短打包的时间。

2.5.2 全局工具配置

选择系统管理，全局工具配置

(1)JDK 配置
image.png

设置 javahome 为 /usr/java/jdk1.8.0_171-amd64

(2)Git 配置 (本地已经安装了 Git 软件)

image.png

(3)Maven 配置
image.png

2.6 代码上传至 Git 服务器

2.6.1 Gogs 搭建与配置 Gogs 是一款极易搭建的自助 Git 服务。

Gogs 的目标是打造一个最简单、最快速和最轻松的方式搭建自助 Git 服务。使用 Go 语言开发使得 Gogs 能够通过 独立的二进制分发，并且支持 Go 语言支持的 所有平台，包括 Linux、Mac OS X、Windows 以及 ARM 平台。

地址:https://gitee.com/Unknown/gogs
(1)下载镜像

docker pull gogs/gogs

(2)创建容器

docker run -di --name=gogs -p 10022:22 -p 3000:3000 -v /var/gogsdata:/data gogs/gogs

(3)假设我的 centos 虚拟机 IP 为 192.168.184.141 在地址栏输入 http://192.168.184.141:3000 会进入首次运行安 装程序页面，我们可以选择一种数据库作为 gogs 数据的存储，最简单的是选择 SQLite3。如果对于规模较大的公 司，可以选择 MySQL

image.png
image.png

点击“立即安装”
这里的域名要设置为 centos 的 IP 地址,安装后显示主界面

image.png

(4)注册

image.png

(5)登录

image.png

(6)创建仓库

image.png
image.png

2.6.2 提交代码

步骤:
(1)在本地安装 git(Windows 版本)
(2)在 IDEA 中选择菜单 : File -- settings , 在窗口中选择 Version Control -- Git
image.png

(3)选择菜单 VCS --> Enable Version Control Integration...
image.png

(4)设置远程地址: 右键点击工程选择菜单 Git --> Repository -->Remotes...
image.png

(5)右键点击工程选择菜单 Git --> Add

(6)右键点击工程选择菜单 Git --> Commit Directory...

(7)右键点击工程选择菜单 Git --> Repository --> Push ...

2.7 任务的创建与执行

(1)回到首页，点击新建按钮 .如下图，输入名称，选择创建一个 Maven 项目，点击 OK

image.png

(2)源码管理，选择 Git
image.png

(3)Build
image.png

命令:

3 容器管理工具 Rancher

3.1 什么是 Rancher


Rancher 是一个开源的企业级全栈化容器部署及管理平台。Rancher 为容器提供一揽子基础架构服务:CNI 兼容的 网络服务、存储服务、主机管理、负载均衡、防护墙......Rancher 让上述服务跨越公有云、私有云、虚拟机、物理 机环境运行，真正实现一键式应用部署和管理。



    
        
            
                
                Run Kubernetes Everywhere
            
            Rancher-多云混合云多集群Kubernetes管理平台丨容器云PaaS解决方案
            
            Rancher Labs - www.cnrancher.com
            
        
        
    



3.2 Rancher 安装


(1)下载 Rancher 镜像


docker pull rancher/server 



(2)创建 Rancher 容器


docker run -di --name=rancher -p 9090:8080 rancher/server 



(3)在浏览器输入地址: http://192.168.184.136:9090 即可看到高端大气的欢迎页

image.png


点击 Got It 进入主界面

image.png


(4)切换至中文界面

点击右下角的 English 在弹出菜单中选择中文

image.png


切换后我们就可以看到亲切的中文界面啦~

image.png


3.3 Rancher 初始化


3.3.1 添加环境


Rancher 支持将资源分组归属到多个环境。 每个环境具有自己独立的基础架构资源及服务，并由一个或多个用 户、团队或组织所管理。


例如，您可以创建独立的“开发”、“测试”及“生产”环境以确保环境之间的安全隔离，将“开发”环境的访问权限赋予全 部人员，但限制“生产”环境的访问权限给一个小的团队。


(1)选择“Default --> 环境管理” 菜单


image.png


(2)填写名称，点击“创建”按钮

image.png


(3)按照上述步骤，添加十次方测试环境和生产环境

image.png


(4)你可以通过点击 logo 右侧的菜单在各种环境下切换

image.png


3.3.2 添加主机


(1)选择基础架构--> 主机 菜单，点击添加主机

image.png


(2)拷贝脚本


image.png


(3)在服务器(虚拟机)上运行脚本


image.png


(4)点击关闭按钮后，会看到界面中显示此主机。我们可以很方便地管理主机的每个容器的开启和关闭


image.png


3.3.3 添加应用


点击应用--> 全部(或用户) ，点击“添加应用”按钮


image.png


填写名称和描述

image.png


点击“创建”按钮，列表中增加了新增的应用


image.png


3.4 应用部署


3.4.1 MySQL 部署


镜像:centos/mysql-57-centos7 增加数据库服务

image.png


注意:添加环境变量 MYSQL_ROOT_PASSWORD=123456

image.png


点击创建按钮，完成创建 上述操作相当于以下 docker 命令


docker run -di --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 centos/mysql-57-
centos7 



image.png


完成后服务列表中存在并且状态为激活 使用 SQLyog 测试链接，执行建表语句


3.4.2 RabbitMQ 部署


镜像:rabbitmq:management 端口映射 5671 5672 4369 15671 15672 25672


image.png


浏览器访问 http://192.168.184.136:15672/


3.4.3 Redis 部署


进入应用，点击添加服务，名称 redis ，镜像 redis ，端口映射 6379

image.png


创建后使用客户端测试链接


redis-cli -h 192.168.184.144



测试成功


3.4.4 微服务部署


(1)搭建私有仓库


启动私有仓库容器


docker run -di --name=registry -p 5000:5000 registry



打开浏览器 输入地址 http://192.168.184.144:5000/v2/_catalog 看到 {"repositories":[]} 成功并且内容为空


修改 daemon.json


vi /etc/docker/daemon.json 



添加以下内容，保存退出。


{"insecure-registries":["192.168.184.144:5000"]} 



(2)修改 docker 配置，允许远程访问


vi /lib/systemd/system/docker.service



其中 ExecStart=后添加配置 -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

修改后刷新配置，冲洗服务


systemctl daemon-reload
systemctl restart docker
docker start registry 



表示私有仓库搭建


(3)修改微服务工程，添加 DockerMaven 插件

(4)连接 mysql 数据库，执行建库脚本

(5)添加服务 base-service 镜像 192.168.184.144:5000/tensquare_base:1.0-SNAPSHOT 端口映射 9001

image.png


(6)测试微服务 浏览器打开网址 http://192.168.184.144:9001/label 看是否可以看到标签列表


3.5 扩容与缩容


3.5.1 扩容


(1)在 Rancher 将创建的 base-service(基础信息微服务)删除


(2)重新创建 base-service ，不设置端口映射

image.png


(3)在选择菜单 API -->WebHooks ，点击“添加接收器”按钮

image.png


(4)填写名称等信息，选择要扩容的服务，点击创建按钮

image.png


(5)接收器列表中新增了一条记录 ，点击触发地址将地址复制到剪切板

image.png


(6)使用 postman 测试:

image.png


测试后，发现容器由原来的 1 个变为了 3 个


3.5.2 缩容


刚才我们实现了扩容，那么如何减少容器数量呢?我们来试试如何缩容


(1)添加接收器 ,选择缩容，步长为 1 表示每次递减 1 个 ，点击创建按钮

image.png


(2)创建成功后，复制触发地址

image.png


(3)使用 postman 测试

image.png


4 influxDB


4.1 什么是 influxDB


influxDB 是一个分布式时间序列数据库。cAdvisor 仅仅显示实时信息，但是不存储监视数据。因此，我们需要提供 时序数据库用于存储 cAdvisor 组件所提供的监控信息，以便显示除实时信息之外的时序数据。


4.2 influxDB 安装


(1)下载镜像


docker pull tutum/influxdb



(2)创建容器


docker run -di \
   -p 8083:8083 \
   -p 8086:8086 \
   --expose 8090 \
   --expose 8099 \
   --name influxsrv \
   tutum/influxdb 



端口概述: 8083 端口:web 访问端口 8086:数据写入端口

打开浏览器 http://192.168.184.144:8083/


4.3 influxDB 常用操作


4.3.1 创建数据库


CREATE DATABASE "cadvisor"



回车创建数据库


SHOW DATABASES 



查看数据库


4.3.2 创建用户并授权


创建用户


CREATE USER "cadvisor" WITH PASSWORD 'cadvisor' WITH ALL PRIVILEGES 



用户授权


grant all privileges on cadvisor to cadvisor
grant WRITE on cadvisor to cadvisor
grant READ on cadvisor to cadvisor 



4.3.3 查看采集的数据


切换到 cadvisor 数据库，使用以下命令查看采集的数据


 SHOW MEASUREMENTS 



现在我们还没有数据，如果想采集系统的数据，我们需要使用 Cadvisor 软件来实现


5 cAdvisor


5.1 什么是 cAdvisor


Google 开源的用于监控基础设施应用的工具，它是一个强大的监控工具，不需要任何配置就可以通过运行在 Docker 主机上的容器来监控 Docker 容器，而且可以监控 Docker 主机。更多详细操作和配置选项可以查看 Github 上 的 cAdvisor 项目文档。


5.2 cAdvisor 安装


(1)下载镜像




(2)创建容器


docker run --volume=/:/rootfs:ro --volume=/var/run:/var/run:rw --volume=/sys:/sys:ro --
volume=/var/lib/docker/:/var/lib/docker:ro --publish=8080:8080 --detach=true --link
influxsrv:influxsrv --name=cadvisor google/cadvisor -storage_driver=influxdb -
storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086 



WEB 前端访问地址

http://192.168.184.144:8080/containers/

性能指标含义参照如下地址

https://blog.csdn.net/ZHANG_H_A/article/details/53097084

再次查看 influxDB，发现已经有很多数据被采集进去了。


grant all privileges on cadvisor to cadvisor
grant WRITE on cadvisor to cadvisor
grant READ on cadvisor to cadvisor 



6 Grafana


6.1 什么是 Grafana


Grafana 是一个可视化面板(Dashboard)，有着非常漂亮的图表和布局展示，功能齐全的度量仪表盘和图形编辑 器。支持 Graphite、zabbix、InfluxDB、Prometheus 和 OpenTSDB 作为数据源。 Grafana 主要特性:灵活丰富的 图形化选项;可以混合多种风格;支持白天和夜间模式;多个数据源。


6.2 Grafana 安装


(1)下载镜像


 docker pull grafana/grafana 



(2)创建容器


docker run -d -p 3001:3000  -e INFLUXDB_HOST=influxsrv -e INFLUXDB_PORT=8086 -e
INFLUXDB_NAME=cadvisor -e INFLUXDB_USER=cadvisor -e INFLUXDB_PASS=cadvisor --link
influxsrv:influxsrv --name grafana grafana/grafana 



(3)访问


http://192.168.184.144:3001



用户名密码均为 admin

image.png


(4)登录后提示你修改密码

image.png


(5)之后进入主页面

image.png


6.3 Grafana 的使用


6.3.1 添加数据源


(1)点击设置，DataSource

image.png


(2)点击添加 data source

image.png


(3)为数据源起个名称，指定类型、地址、以及连接的数据库名、用户名和密码


image.png

image.png


点击保存.数据建立成功

image.png


6.3.2 添加仪表盘

(1)选择 Dashboards --Manager

image.png


(2)点击“添加”按钮

(3)点击 Graph 图标

image.png


(4)出现下面图表的界面 ，点击 Panel Title 选择 Edit (编辑)

image.png


(5)定义标题等基础信息


image.png


(6)设置查询的信息为内存，指定容器名称

image.png


(7)指定 y 轴的单位 为 M

image.png


(8)保存


image.png


填写名称

image.png


6.4.3 预警通知设置


(1)选择菜单 alerting--> Notification channels


image.png


(2)点击 Add channel 按钮

image.png


(3)填写名称，选择类型为 webhook ,填写钩子地址

image.png


这个钩子地址是之前对 base 微服务扩容的地址

image.png


(4)点击 SendTest 测试 观察基础微服务是否增加容器

(5)点击 save 保存

(6)按照同样的方法添加缩容地址


6.4.4 仪表盘预警设置


(1)再次打开刚刚编辑的仪表盘

image.png


(2)点击 Create Alert

image.png


设置预警线

(3)选择通知

image.png

image.png


保存更改
  • Docker

    Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的操作系统上。容器完全使用沙箱机制，几乎没有性能开销，可以很容易地在机器和数据中心中运行。

    492 引用 • 926 回帖
1 感谢
1 关注
1 收藏
1 赞同
1 回帖
905 15 285 109 36 93 1 100 242

相关帖子

1 回帖
持续集成与容器管理

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
kevinBobo
只想安安稳稳睡个好觉～
回帖
26
 帖子
23
 积分
2800