[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排

一、Compose简介 ??Compose项目是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。其代码目前在https://github.com/docker/compose上开源。

Compose定位是 [ 定义和运行多个Docker容器应用 ],其前身是开源项目Fig。
??从[容器化技术之四] 构建私有镜像中,可知使用一个Dockerfile模板文件,可以让用户很方便地定义一个单独的应用容器。然而,在日常工作中,经常会碰到需要多个容器互相配合来完成某项任务的情况。例如要实现一个Web项目,除了Web服务容器本身,往往还需要再加上后端的数据库服务容器,甚至还包括负载均衡容器等。
??大多数情况下, 完整的应用由多个服务组合而成, docker解决了单容器(服务)的问题, 但无法同时协调多个容器, docker-compose正是解决这一问题。

[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片
??Compose恰好满足了这样的需求,它允许用户通过一个单独的docker-compose.yml模板文件来定义一组关联的应用容器为一个项目(project)。
??Compose中有两个重要的概念:
  • 服务(service):一个应用的的容器,实际上可以包括若干运行相同镜像的容器实例。
  • 项目(project):由一组关联的应用容器组成的一个完整业务单元。
??Compose的默认管理对象是项目,通过子命令对项目中的一组容器进行便捷地生命周期管理。
??Compose由Python编写,实际上调用了Docker服务提供的API来对容器进行管理。



二、安装和卸载
Compose支持Linux、macOS、Windows 10三大平台。
??Compose可以通过Python的包管理工具pip进行安装,也可以直接下载编译好的二进制文件使用,甚至能够直接在Docker容器中运行。
??Docker for Mac、Docker for Windows自带docker-compose二进制文件,安装Docker之后可以直接使用,通过以下命令可以查看docker-compose的版本。
docker-compose --version

??Linux系统需要单独使用二进制或者pip方式进行安装。
  • 二进制包
??在Linux上的安装十分简单,从官方Github Release处直接下载编译好的二进制文件即可。例如,在Linux 64位系统上直接下载对应的二进制包。
sudo curl -L https://github.com/docker/compose/releases/download/1.17.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose

??由于从github上下载的速度太慢了,改从daocloud下载,秒达!

[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片

  • PIP安装
??如果计算机的架构是ARM(例如,树莓派),建议使用pip安装。
sudo pip install -U docker-compose




二、Compose构建dubbo-admin服务
一个项目可以由多个服务(容器)关联而成,Compose面向项目进行管理。
场景:最常见的项目是web网站,一般的web网站都会依赖第三方提供的服务(比如:DB和>cache),这里使用dubbo-admin作为例子(dubbo-admin依赖zookeeper)。
1、获取源码 ??从github上获取dubbo-admin的master分支源码
git clone -b master https://github.com/apache/incubator-dubbo-ops.git


[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片



2、编译打包 ??修改admin中的application配置,把zookeeper地址改为zookeeper://zookeeper:2181

[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片

??使用maven进行编译打包
mvn clean package -Dmaven.test.skip=true

[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片

??因为centos默认安装的是JRE而不是JDK,所以编译会报错,先使用以下命令安装JDK
yum install java-1.8.0-openjdk yum install java-1.8.0-openjdk-devel

??再重新编译即可正常打包

[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片



3、编写Dockerfile ??在dubbo-admin目录下编写Dockerfile文件,内容为:
# FROM:表示使用jdk8环境为基础镜像,如果镜像不是本地的会从DockerHub进行下载 #FROM openjdk:8-jdk-alpine FROM openjdk:8-jdk# 作者 MAINTAINER study.163.com# 使用数据卷 VOLUME /tmp# ADD:拷贝文件并且重命名 ADD ./target/dubbo-admin-0.0.1-SNAPSHOT.jar app.jar# ENTRYPOINT:为了缩短tomcat的启动时间,添加java.security.egd的系统属性指向/dev/urandom作为ENTRYPOINT ENTRYPOINT ["java", "-Djava.security.egd=file:/dev/./urandom", "-jar", "/app.jar"]

??由于本地不存在openjdk的镜像,所以构建的时候会先从Docker Hub拉取openjdk的镜像,尽管已经配置了网易的加速器,但下载速度还是急死人,所以多配置了阿里云和Docker Hub的加速器,其中阿里云的镜像加速器需要从控制台获取,需要先进入镜像容器服务,添加一个命名空间,点击镜像加速器菜单即可获取专用阿里云镜像加速器,如图所示:

[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片

??配置上面的阿里云镜像加速器
[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片

??然后重新加载配置并重启docker服务
systemctl daemon-reload systemctl restart docker

??再重新构建,发现速度duang duang一下子上去了哈哈
docker build -t dubbo-admin:1.0 .


[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片



4、编写docker-compose.yml 【[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排】??在项目根目录下编写docker-compose.yml文件,这个是Compose使用的主模板文件
version: '3.4' services: zk_server: image: zookeeper:3.4 ports: - 2181:2181 dubbo-admin: image: dubbo-admin:1.0 links: - zk_server:zookeeper depends_on: - zk_server ports: - 7001:7001

[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片
version:Compose版本
services:docker-compose协调的服务列表
??zk_server是服务列表中的第一个,使用的镜像是zookeeper:3.4,端口映射为2181对应宿主机的2181;
??dubbo-admin是服务列表中的第二个,使用的镜像是dubbo-admin:1.0,links参数定义了容器与容器之间的依赖关系,这里依赖的是上面定义的服务zk_server,端口映射为7001对应宿主机的7001。


5、运行compose项目 ??在docker-compose.yml文件所在目录执行:
docker-compose up

??可以看到按照服务列表定义的顺序,先启动了zk服务,后启动了dubbo-admin(使用spring-boot),如下图所示:

[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片
[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片

??在浏览器中方位 http://服务器ip:7001进行验证,用户名密码为: root/root? guest/guest
[容器化技术之八]|[容器化技术之八] Compose集成式应用组合及service编排
文章图片




三、Compose命令说明 ??命令对象与格式:执行docker-compose [COMMAND] --help或者docker-compose help [COMMAND]可以查看具体某个命令的使用格式。
docker-compose命令的基本的使用格式是:
docker-compose [-f=...] [options] [COMMAND] [ARGS...]

命令选项:
  • -f, --file FILE:指定模板文件,默认为docker-compose.yml,可以多次指定。
  • -p, --project-name NAME:指定项目名称,默认将使用所在目录名称作为项目名称。
  • --x-networking:使用Docker的可拔插网络后端特性。
  • --x-network-driver DRIVER:指定网络后端的驱动,默认为bridge。
  • --verbose:输出更多调试信息。
  • -v, --version:打印版本并退出。
命令?? 说明
build 格式为docker-compose build [options] [SERVICE...]
构建(重新构建)项目中的服务容器。
可以随时在项目目录下运行docker-compose build来重新构建服务。

选项包括:

--force-rm:删除构建过程中的临时容器。
--no-cache:构建镜像过程中不使用cache(这将加长构建过程)。
-pull:始终尝试通过pull来获取更新版本的镜像。
version 格式为docker-compose version
打印版本信息。
config 验证Compose格式是正确,若正确则显示配置,若格式错误显示错误原因
exec 进入指定的容器
images 列出Compose文件中包含的镜像
logs 格式为docker-compose logs [options] [SERVICE...]
查看服务容器的输出。默认情况下,docker-compose将对不同的服务输出使用不同的颜色来区分。可以通过--no-color来关闭颜色。
down 停止up命令所启动的容器(经过测试发现容器也会被删除),并移除网络
help 获得一个命令的帮助
kill 通过发送SIGKILL信号来强制停止服务容器
pause 格式为docker-compose pause [SERVICE...]
暂停一个服务容器
port 格式为docker-compose port [options] SERVICE PRIVATE_PORT
打印某个容器端口所映射的公共端口。

选项:

--protocol=proto:指定端口协议,tcp(默认值)或者udp。
--index=index:如果同以服务存在多个容器,指定命令对象容器的序号(默认为1)。
ps 格式为docker-compose ps [options] [SERVICE...]
列出项目中目前的所有容器。

选项:

-q:只打印容器的ID信息。
push 推送服务依赖的镜像到Docker镜像仓库
pull 格式为docker-compose pull [options] [SERVICE...]
拉取服务依赖的镜像。

选项:

--ignore-pull-failures:忽略拉取镜像过程中的错误。
restart 格式为docker-compose restart [options] [SERVICE...]
重启项目中的服务。

选项:

-t, --timeout TIMEOUT:指定重启前停止容器的超市(默认为10秒)。
rm 格式为docker-compose rm [options] [SERVICE...]
删除所有(停止状态的)服务容器。推荐先执行docker-compose stop命令来停止容器。

选项:

-f, --force:强制直接删除,包括非停止状态的容器。一般尽量不要使用该选项。
-v:删除容器所挂载的数据卷。
run 格式为docker-compose run [options] [-p PORT...] [-e KEY=VAL...] SERVICE [COMMAND] [ARGS...]
在指定服务上执行一个命令。例如:
docker-compose run ubuntu ping docker.com
scale 格式为docker-compose scale [options] [SERVICE=NUM...]
设置指定服务运行的容器个数。例如:
docker-compose scale web=3 db=2
将启动3个容器运行web服务,2个容器运行db服务。
start 格式为docker-compose start [SERVICE...]
启动已经存在的服务容器。
stop 停止已经存在的服务容器。
top 查看各个服务容器内运行的进程。
unpause 格式为docker-compose unpause [SERVICE...]
恢复处于暂停状态中的服务。
up 该命令十分强大,它将尝试自动完成包括构建镜像,(重新)创建服务,启动服务,并关联服务相关容器的一系列操作。链接的服务都将会被自动启动,除非已经处于运行状态。

选项:

-d:在后台运行服务容器。
--no-color:不使用颜色来区分不同的服务的控制台输出。
--no-deps:不启动服务所链接的容器。
--force-recreate:强制重新创建容器,不能与--no-recreate同事使用。
--no-recreate:如果容器已经存在了,则不重新创建,不能与--force-recreate同时使用。
--no-build:不自动构建缺失的服务镜像。
-t, --timeout TIMEOUT:停止容器时候的超市(默认为10秒)。



四、Compose模板文件 ??模板文件是使用Compose的核心,涉及到的指令关键字比较多,但是大部分指令跟docker run相关参数的含义都是类似的。
??默认的模板文件名称为docker-compose.yml,格式为YAML格式。注意每个服务都必须通过image指令指定镜像或build指令(需要Dockerfile)等来自动构建生成镜像。
??如果使用build指令,在Dockerfile中设置的选项(例如:CMDEXPOSEVOLUMEENV等)将会自动被获取,无需在docker-compose.yml中再次设置。下面介绍常用指令的用法:
1、build ??指定Dockerfile所在文件夹的路径(可以是绝对路径,或者相对docker-compose.yml文件的路径)。Compose将会利用它自动构建这个镜像,然后使用这个镜像。
使用context指令指定Dockerfile所在文件夹的路径
使用dockerfile指令指定Dockerfile文件名
使用arg指令指定构建镜像时的变量
示例:
version: '3' services: webapp: build: context:./dir dockerfile: Dockerfile-alternate args: buildno: 1



2、command ??覆盖容器启动后默认执行的命令。
command: echo "hello world"



3、configs ??仅用于Swarm mode。


4、Container_name ??指定容器名称。默认将会使用项目名称_服务名称_序号这样的格式。
container_name:docker-web-container



5、deploy ??仅用于Swarm mode。


6、devices ??指定设备映射关系
devices: - "/dev/ttyUSB1:/dev/ttyUSB0"



7、depends_no ??解决容器的依赖、启动先后的问题。


8、dns ??自定义DNS服务器,可以是一个值,也可以是一个列表。
dns: 8.8.8.8 dns: - 8.8.8.8 - 114.114.114.114



9、environment ??设置环境变量。可以使用数组或字典两种格式,只给定名称的变量会自动获取运行Compose主机上对应变量的值,可以用来防止泄露不必要的数据。
environment: RACK_ENV: development SESSION_SECRET environment: - RACK_ENV=development - SESSION_SECRET



10、expose ??暴露端口但不映射到宿主机,只被连接的服务访问。仅可以指定内部端口为参数。
expose: - "3000" - "8000"



11、extra_hosts ??类似Docker中的--add_host参数,指定额外的host名称映射信息。会在启动后的服务容器中/etc/hosts文件中添加一条条目。
extra_hosts: - "googledns:8.8.8.8"



11、healthcheck ??通过命令检查容器是否健康运行。
healthcheck: test: ["CMD", "curl", "-f", "http://localhost"] interval: 1m30s timeout: 10s retries: 3



12、image ??指定为镜像名称或镜像ID。如果镜像在本地不存在,Compose将会尝试先拉取这个镜像。
image: session-web:latest



13、labels ??为容器添加Docker元数据(metadata)信息。例如可以为容器添加辅助说明信息。
labels: com.study.department: "devops department" com.study.release: "v1.0"



14、links ??连接到其他容器。
注意:不推荐使用该指令。应该使用docker network,建立网络,而docker run --network来连接特定网络;或者使用version: '2'和更高版本的docker-compose.yml直接定义自定义网络并使用。


15、network_mode ??设置网络模式。使用和docker run--network 参数一样的值。
network_mode: "bridge" network_mode: "host" network_mode: "none"



16、networks ??配置容器连接的网络。
version: "3" services: some-service: network: - some-network networks: some-network:



17、ports ??暴露端口信息。使用宿主端口:容器端口(HOST:CONTAINER)格式,或者仅仅指定容器的端口(宿主将会随机选择端口)都可以。
ports: - "3000" - "8000:8000"



18、volumes ??数据卷所挂载路径设置,可以设置宿主机路径 ,同时支持相对路径。
volumes: - /var/lib/mysql - cache/:/tmp/cache - ~/configs:/etc/configs/:ro



19、ulimits ??指定容器的ulimits限制值。
??例如,指定最大进程数为65535,指定文件句柄数为20000(软限制,应用可以随时修改,不能超过硬限制)和40000(系统硬限制,只能root用户提高)
ulimits: nproc: 65535 nofile: soft: 20000 hard: 40000



其他指令 ??此外,还有包括domainname,entrypoint, hostname, ipc, mac_address, privileged, read_only, shm_size, restart, stdin_open, tty, user, working_dir等指令,基本都跟docker run中对应参数的功能一致。
  • 指定服务容器启动后执行的入口文件
entrypoint:/code/entrypoint.sh

  • 指定容器中运行应用的用户名
user:nginx

  • 指定容器中工作目录
working_dir:/code

  • 指定容器中搜索域名、主机名、mac地址等
domainname: your_website.com hostname: test mac_address: 08-00-27-00-0C-0A

  • 允许容器中运行一些特权命令
privileged:true

  • 指定容器退出后的重启策略为始终重启。在生产环境中推荐配置为always或者unless-stopped
restart:always

  • 以只读模式挂载容器的root文件系统,意味着不能对容器内容进行修改
read_only: true

  • 打开标准输入,可以接收外部输入
stdin_open: true

  • 模拟一个伪终端
tty:true



读取变量 ??Compose模板文件支持动态读取主机系统环境变量和当前目录下的.env文件中的变量。
例如,下面的Compose文件将从运行它的环境中读取变量${MONGO_VERSION}的值,并写入执行的指令中。
version: "3" services: db: image: "mongoL${MONGO_VERSION}"

如果执行MONGO_VERSION=3.2docker-compose up则会启动一个mongo:3.2的镜像的容器。若当前目录存在.env文件。执行docker-compose命令时将从该文件中读取变量。

    推荐阅读