Ops.CI/CD-Docker 学习笔记 docker

Docker 简介和安装 Docker 是什么
Docker 是一个应用打包、分发、部署的工具
你也可以把它理解为一个轻量的虚拟机，它只虚拟你软件需要的运行环境，多余的一点都不要，
而普通虚拟机则是一个完整而庞大的系统，包含各种不管你要不要的软件。
跟普通虚拟机的对比

特性	普通虚拟机	Docker
跨平台	通常只能在桌面级系统运行，例如 Windows/Mac，无法在不带图形界面的服务器上运行	支持的系统非常多，各类 windows 和 Linux 都支持
性能	性能损耗大，内存占用高，因为是把整个完整系统都虚拟出来了	性能好，只虚拟软件所需运行环境，最大化减少没用的配置
自动化	需要手动安装所有东西	一个命令就可以自动部署好所需环境
稳定性	稳定性不高，不同系统差异大	稳定性好，不同系统都一样部署方式

打包、分发、部署
打包：就是把你软件运行所需的依赖、第三方库、软件打包到一起，变成一个==安装包==
分发：你可以把你打包好的“安装包”上传到一个镜像仓库，其他人可以非常方便的获取和安装
部署：拿着“安装包”就可以一个命令运行起来你的应用，自动模拟出一摸一样的运行环境，不管是在 Windows/Mac/Linux。

文章图片

Docker 部署的优势
常规应用开发部署方式：自己在 Windows 上开发、测试 --> 到 Linux 服务器配置运行环境部署。

问题：我机器上跑都没问题，怎么到服务器就各种问题了

用 Docker 开发部署流程：自己在 Windows 上开发、测试 --> 打包为 Docker 镜像（可以理解为软件安装包） --> 各种服务器上只需要一个命令部署好

优点：确保了不同机器上跑都是一致的运行环境，不会出现我机器上跑正常，你机器跑就有问题的情况。

Docker 通常用来做什么

应用分发、部署，方便传播给他人安装。特别是开源软件和提供私有部署的应用
快速安装测试/学习软件，用完就丢（类似小程序），不把时间浪费在安装软件上。例如 Redis / MongoDB / ElasticSearch / ELK
多个版本软件共存，不污染系统，例如 Python2、Python3，Redis4.0，Redis5.0
Windows 上体验/学习各种 Linux 系统

重要概念：镜像、容器
镜像：可以理解为软件安装包，可以方便的进行传播和安装。
容器：软件安装后的状态，每个软件运行环境都是独立的、隔离的，称之为容器。
安装
桌面版：https://www.docker.com/products/docker-desktop
服务器版：https://docs.docker.com/engine/install/#server
启动报错解决
报错截图

文章图片

解决方法：
控制面板->程序->启用或关闭 windows 功能，开启 Windows 虚拟化和 Linux 子系统（WSL2)

文章图片

命令行安装 Linux 子系统（这步可能不需要，因为 docker 安装时有说自动安装 wsl）
wsl --install -d Ubuntu

命令行安装可能太慢，你也可以打开微软商店 Microsoft Store 搜索 Linux 进行安装

设置开机启动 Hypervisor
bcdedit /set hypervisorlaunchtype auto

注意要用管理员权限打开 PowerShell

确保 BIOS 已开启虚拟化，下图检查是否已开启好

如果是已禁用，请在开机时按 F2 进入 BIOS 开启一下，不会设置的可以网上搜索下自己主板的设置方法，Intel 和 AMD 的设置可能稍有不同

文章图片

出现下图错误，点击链接安装最新版本的 WSL2
https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi

文章图片

镜像加速源

镜像加速器	镜像加速器地址
Docker 中国官方镜像	https://registry.docker-cn.com
DaoCloud 镜像站	http://f1361db2.m.daocloud.io
Azure 中国镜像	https://dockerhub.azk8s.cn
科大镜像站	https://docker.mirrors.ustc.e...
阿里云	https://.mirror.aliyuncs.com
七牛云	https://reg-mirror.qiniu.com
网易云	https://hub-mirror.c.163.com
腾讯云	https://mirror.ccs.tencentyun...

文章图片

Docker 快速安装软件直接安装的缺点

安装麻烦，可能有各种依赖，运行报错。例如：WordPress，ElasticSearch，Redis，ELK
可能对 Windows 并不友好，运行有各种兼容问题，软件只支持 Linux 上跑
不方便安装多版本软件，不能共存。
电脑安装了一堆软件，拖慢电脑速度。
不同系统和硬件，安装方式不一样

Docker 安装的优点

一个命令就可以安装好，快速方便
有大量的镜像，可直接使用
没有系统兼容问题，Linux 专享软件也照样跑
支持软件多版本共存
用完就丢，不拖慢电脑速度
不同系统和硬件，只要安装好 Docker 其他都一样了，一个命令搞定所有

演示 Docker 安装 Redis
Redis 官网：https://redis.io/

官网下载安装教程只有源码安装方式，没有 Windows 版本。想要自己安装 windows 版本需要去找别人编译好的安装包。

Docker 官方镜像仓库查找 Redis ：https://hub.docker.com/
一个命令跑起来：docker run -d -p 6379:6379 --name redis redis:latest
命令参考：https://docs.docker.com/engine/reference/commandline/run/
安装 ELK
【Ops.CI/CD-Docker 学习笔记】docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
内存不够解决方法
转到用户目录 cd ~，路径类似这个：

C:\Users\<
UserName>

创建 .wslconfig 文件填入以下内容

[wsl2] memory=10GB # Limits VM memory in WSL 2 to 4 GB processors=2 # Makes the WSL 2 VM use two virtual processors

生效配置，命令行运行 wsl --shutdown
更多相关命令
docker ps 查看当前运行中的容器
docker images 查看镜像列表
docker rm container-id 删除指定 id 的容器
docker stop/start container-id 停止/启动指定 id 的容器
docker rmi image-id 删除指定 id 的镜像
docker volume ls 查看 volume 列表
docker network ls 查看网络列表
制作自己的镜像为自己的 Web 项目构建镜像
示例项目代码：https://github.com/gzyunke/test-docker
这是一个 Nodejs + Koa2 写的 Web 项目，提供了简单的两个演示页面。
软件依赖：nodejs
项目依赖库：koa、log4js、koa-router
编写 Dockerfile

FROM node:11 MAINTAINER easydoc.net# 复制代码 ADD . /app# 设置容器启动后的默认运行目录 WORKDIR /app# 运行命令，安装依赖 # RUN 命令可以有多个，但是可以用 && 连接多个命令来减少层级。 # 例如 RUN npm install && cd /app && mkdir logs RUN npm install --registry=https://registry.npm.taobao.org# CMD 指令只能一个，是容器启动后执行的命令，算是程序的入口。 # 如果还需要运行其他命令可以用 && 连接，也可以写成一个shell脚本去执行。 # 例如 CMD cd /app && ./start.sh CMD node app.js

Dockerfile文档

实用技巧：
如果你写 Dockerfile 时经常遇到一些运行错误，依赖错误等，你可以直接运行一个依赖的底，然后进入终端进行配置环境，成功后再把做过的步骤命令写道 Dockerfile 文件中，这样编写调试会快很多。
例如上面的底是node:11，我们可以运行docker run -it -d node:11 bash，跑起来后进入容器终端配置依赖的软件，然后尝试跑起来自己的软件，最后把所有做过的步骤写入到 Dockerfile 就好了。
掌握好这个技巧，你的 Dockerfile 文件编写起来就非常的得心应手了。

Build 为镜像（安装包）和运行
编译 docker build -t test:v1 .

-t 设置镜像名字和版本号
命令参考：https://docs.docker.com/engine/reference/commandline/build/

运行 docker run -p 8080:8080 --name test-hello test:v1

-p 映射容器内端口到宿主机
--name 容器名字
-d 后台运行
命令参考文档：https://docs.docker.com/engine/reference/run/

更多相关命令
docker ps 查看当前运行中的容器
docker images 查看镜像列表
docker rm container-id 删除指定 id 的容器
docker stop/start container-id 停止/启动指定 id 的容器
docker rmi image-id 删除指定 id 的镜像
docker volume ls 查看 volume 列表
docker network ls 查看网络列表
目录挂载现存问题

使用 Docker 运行后，我们改了项目代码不会立刻生效，需要重新build和run，很是麻烦。
容器里面产生的数据，例如 log 文件，数据库备份文件，容器删除后就丢失了。

几种挂载方式

bind mount 直接把宿主机目录映射到容器内，适合挂代码目录和配置文件。可挂到多个容器上
volume 由容器创建和管理，创建在宿主机，所以删除容器不会丢失，官方推荐，更高效，Linux 文件系统，适合存储数据库数据。可挂到多个容器上
tmpfs mount 适合存储临时文件，存宿主机内存中。不可多容器共享。

文档参考：https://docs.docker.com/storage/

文章图片

挂载演示
bind mount 方式用绝对路径 -v D:/code:/app
volume 方式，只需要一个名字 -v db-data:/app
示例：
docker run -p 8080:8080 --name test-hello -v D:/code:/app -d test:v1

注意！
因为挂载后，容器里的代码就会替换为你本机的代码了，如果你代码目录没有node_modules目录，你需要在代码目录执行下npm install --registry=https://registry.npm.taobao.org确保依赖库都已经安装，否则可能会提示“Error: Cannot find module 'koa'”
如果你的电脑没有安装 nodejs，你需要安装一下才能执行上面的命令。

??多容器通信学习目标
项目往往都不是独立运行的，需要数据库、缓存这些东西配合运作。
这节我们把前面的 Web 项目增加一个 Redis 依赖，多跑一个 Redis 容器，演示如何多容器之间的通信。
创建虚拟网络
要想多容器之间互通，从 Web 容器访问 Redis 容器，我们只需要把他们放到同个网络中就可以了。
文档参考：https://docs.docker.com/engine/reference/commandline/network/
演示
创建一个名为test-net的网络： docker network create test-net
运行 Redis 在 test-net 网络中，别名redis docker run -d --name redis --network test-net --network-alias redis redis:latest
修改代码中访问redis的地址为网络别名

文章图片

运行 Web 项目，使用同个网络 docker run -p 8080:8080 --name test -v D:/test:/app --network test-net -d test:v1
查看数据 http://localhost:8080/redis
容器终端查看数据是否一致
更多相关命令
docker ps 查看当前运行中的容器
docker images 查看镜像列表
docker rm container-id 删除指定 id 的容器
docker stop/start container-id 停止/启动指定 id 的容器
docker rmi image-id 删除指定 id 的镜像
docker volume ls 查看 volume 列表
docker network ls 查看网络列表
Docker-Compose 现存问题
在上节，我们运行了两个容器：Web 项目 + Redis
如果项目依赖更多的第三方软件，我们需要管理的容器就更加多，每个都要单独配置运行，指定网络。
这节，我们使用 docker-compose 把项目的多个服务集合到一起，一键运行。
安装 Docker Compose

如果你是安装的桌面版 Docker，不需要额外安装，已经包含了。
如果是没图形界面的服务器版 Docker，你需要单独安装安装文档
运行docker-compose检查是否安装成功

编写脚本
要把项目依赖的多个服务集合到一起，我们需要编写一个docker-compose.yml文件，描述依赖哪些服务
参考文档：https://docs.docker.com/compose/

version: "3.7"services: app: build: ./ ports: - 80:8080 volumes: - ./:/app environment: - TZ=Asia/Shanghai redis: image: redis:5.0.13 volumes: - redis:/data environment: - TZ=Asia/Shanghaivolumes: redis:

容器默认时间不是北京时间，增加 TZ=Asia/Shanghai 可以改为北京时间

跑起来
在docker-compose.yml ==文件所在目录==，执行：docker-compose up就可以跑起来了。
命令参考：https://docs.docker.com/compose/reference/up/
在后台运行只需要加一个 -d 参数docker-compose up -d
查看运行状态：docker-compose ps
停止运行：docker-compose stop
重启：docker-compose restart
重启单个服务：docker-compose restart service-name
进入容器命令行：docker-compose exec service-name sh
查看容器运行log：docker-compose logs [service-name]
发布和部署镜像仓库介绍
镜像仓库用来存储我们 build 出来的“安装包”，Docker 官方提供了一个镜像库，里面包含了大量镜像，基本各种软件所需依赖都有，要什么直接上去搜索。
我们也可以把自己 build 出来的镜像上传到 docker 提供的镜像库中，方便传播。
当然你也可以搭建自己的私有镜像库，或者使用国内各种大厂提供的镜像托管服务，例如：阿里云、腾讯云
上传我们的镜像

首先你要先注册一个账号
创建一个镜像库

文章图片
命令行登录账号：
docker login -u username
新建一个tag，名字必须跟你注册账号一样
docker tag test:v1 username/test:v1
推上去
docker push username/test:v1
部署试下
docker run -dp 8080:8080 username/test:v1

docker-compose 中也可以直接用这个镜像了

version: "3.7"services: app: #build: ./ image: helloguguji/test:v1 ports: - 80:8080 volumes: - ./:/app environment: - TZ=Asia/Shanghai redis: image: redis:5.0.13 volumes: - redis:/data environment: - TZ=Asia/Shanghaivolumes: redis:

阿里云容器托管
docker 官方的镜像托管有时候上传和下载都太慢了，如果你想要更快的速度，可以使用阿里云的免费镜像托管
登录阿里云

文章图片

备份和迁移数据迁移方式介绍
容器中的数据，如果没有用挂载目录，删除容器后就会丢失数据。
前面我们已经讲解了如何挂载目录
如果你是用bind mount直接把宿主机的目录挂进去容器，那迁移数据很方便，直接复制目录就好了
如果你是用volume方式挂载的，由于数据是由容器创建和管理的，需要用特殊的方式把数据弄出来。
备份和导入 Volume 的流程
备份：

运行一个 ubuntu 的容器，挂载需要备份的 volume 到容器，并且挂载宿主机目录到容器里的备份目录。
运行 tar 命令把数据压缩为一个文件
把备份文件复制到需要导入的机器

导入：

运行 ubuntu 容器，挂载容器的 volume，并且挂载宿主机备份文件所在目录到容器里
运行 tar 命令解压备份文件到指定目录

备份 MongoDB 数据演示

运行一个 mongodb，创建一个名叫mongo-data的 volume 指向容器的 /data 目录
docker run -p 27018:27017 --name mongo -v mongo-data:/data -d mongo:4.4
运行一个 Ubuntu 的容器，挂载mongo容器的所有 volume，映射宿主机的 backup 目录到容器里面的 /backup 目录，然后运行 tar 命令把数据压缩打包
docker run --rm --volumes-from mongo -v d:/backup:/backup ubuntu tar cvf /backup/backup.tar /data/

最后你就可以拿着这个 backup.tar 文件去其他地方导入了。
恢复 Volume 数据演示

运行一个 ubuntu 容器，挂载 mongo 容器的所有 volumes，然后读取 /backup 目录中的备份文件，解压到 /data/ 目录
docker run --rm --volumes-from mongo -v d:/backup:/backup ubuntu bash -c "cd /data/ && tar xvf /backup/backup.tar --strip 1"