一万年来谁著史，三千里外欲封侯。这篇文章主要讲述kubeadm 搭建多 master 高可用 K8S 集群（亲测）相关的知识，希望能为你提供帮助。
1.kubernetes 简介
kubernetes，简称K8s，是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制，是一个可移植、可扩展的、开源的容器管理平台。
?可移植：在 kubernetes 中部署的应用都是基于镜像的，镜像是可移植的，可以被多个环境使用，可以从一个环境迁移到另一个环境。不受操作系统限制。
可扩展：安装 k8s 的物理节点可以根据业务规模动态扩缩容、k8s 中的 pod 应用也可以实现自动扩缩容。
开源的：源代码已经公开了，有很多技术人员在开发维护，可以被用户免费使用。
Kubernetes 提供了应用程序的快速部署、升级和回滚的能力。
利用 service 可以实现服务注册、发现；
通过 kube-proxy 可以实现负载均衡；
通过 cordns 可实现域名解析；
通过 Ingress 可以实现七层负载均衡等功能；
可以对容器自动化部署、自动化扩缩容、跨主机管理等；
可以对代码进行灰度发布、金丝雀发布、蓝绿发布、滚动更新等；
具有完整的监控系统和日志收集平台，具有故障自恢复的能力。
2.Kubernetes 组件kubectl：管理 k8s 的命令行工具，可以操作 k8s 中的资源对象。
etcd： 是一个高可用的键值数据库，存储 k8s 的资源状态信息和网络信息的，etcd 中的数据变更
是通过 api server 进行的。
apiserver: 提供 k8s api，是整个系统的对外接口，提供资源操作的唯一入口，供客户端和其它组
件调用，提供了 k8s 各类资源对象（pod,deployment,Service 等）的增删改查，是整个系统的数据总
线和数据中心，并提供认证、授权、访问控制、API 注册和发现等机制，并将操作对象持久化到 etcd
中。相当于“营业厅”。
scheduler：负责 k8s 集群中 pod 的调度的 ， scheduler 通过与 apiserver 交互监听到创建 Pod
副本的信息后，它会检索所有符合该 Pod 要求的工作节点列表，开始执行 Pod 调度逻辑。调度成功后将
Pod 绑定到目标节点上，相当于“调度室”。
controller-manager：作为集群内部的管理控制中心，负责集群内的 Node、Pod 副本、服务端点（Endpoint）、命名空间（Namespace）、服务账号（ServiceAccount）、资源定额（ResourceQuota）的管理，当某个 Node 意外宕机时，Controller Manager 会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态。
kubelet： 每个 Node 节点上的 kubelet 定期就会调用 API Server 的 REST 接口报告自身状态，API Server 接收这些信息后，将节点状态信息更新到 etcd 中。kubelet 也通过 API Server 监听 Pod信息，从而对 Node 机器上的 POD 进行管理：如创建、删除、更新 Pod
kube-proxy：提供网络代理和负载均衡，是实现 service 的通信与负载均衡机制的重要组件，kube-proxy 负责为 Pod 创建代理服务，从 apiserver 获取所有 service 信息，并根据 service 信息创建代理服务，实现 service 到 Pod 的请求路由和转发，从而实现 K8s 层级的虚拟转发网络，将到service 的请求转发到后端的 pod 上。
Calico：Calico 是一个纯三层的网络插件，calico 的 bgp 模式类似于 flannel 的 host-gw，calico在 kubernetes 中可提供网络功能和网络策略
Cordns：k8s1.11 之前使用的是 kube dns，1.11 之后才有 coredns，coredns 是一个 DNS 服务器，能够为 Kubernetes services 提供 DNS 记录
Docker：是一个容器引擎，用于运行容器
附加组件：
Web UI（Dashboard）：Dashboard 是 k8s 集群的一个 web ui 界面，通过这个界面可以对 k8s资源进行操作，如创建 pod，创建存储，创建网络等，也可以监控 pod 和节点资源使用情况。
prometheus+alertmanager+Grafana：监控系统，可以对 kubernetes 集群本身的组件监控，也可对物理节点，容器做监控，对监控到的超过报警阀值的数据进行报警，这个报警会发送到指定的目标，如钉钉，微信，qq，slack 等。
efk-（全称 elasticsearch、fluentd、kibana）：日志管理系统，可以对物理节点和容器的日志进行统一收集，把收集到的数据在 kibana 界面展示，kibana 提供按指定条件搜索和过滤日志。
Metrics：用于收集资源指标，hpa 需要基于 metrics 实现自动扩缩容
3.Kubernetes功能说明1）Kubernetes 支持多种网络插件，如 flannel，calico，canel 等，每个插件都有独特的性能，可以分别适用于多种场景，我们可以利用 calico 的 network policy（网络策略）解决 k8s 中的网络隔离，对于多租户场景，可以每一个用户一个名称空间（namespace），然后对这个名称空间设置网络隔离。
2）高可用，高可扩展性
kubernetes 中支持多种高可用解决方案，如 keepalive+nginx，keepalived+haproxy 等，可以使访问流量分发到不同的主机节点，减轻节点压力，如果某个节点出现故障，可以实现秒级切换，达到高可用，保证业务不中断。
3）用户数据的持久化存储
kubernetes 支持多种持久化存储解决方案，保证数据可以得到很好的备份，降低用户数据丢失的风险，kubernetes 中可使用的存储方案如下：
本地存储：emptyDir，hostPath
网络连接类存储：
SAN（存储局域网络）：iSCSI
NAS（网络附加存储）：nfs，cifs
分布式存储：glusterfs，ceph-块级别的存储，cephfs-文件系统级别的存储
云存储：Azure Disk 等
4）拥有多种更新回滚策略
通过管理 kubernetes 的控制器和 service 等，可以实现灰度发布，蓝绿部署，金丝雀发布等，达到业务的快速部署和回滚等操作，用以满足不同客户的不同升级需求。
5）弹性伸缩
根据访问的流量压力，可以实现 pod 的水平扩容和缩减，达到秒级扩容，让 pod 始终处于满足业务正常运行时所需的数量即可，避免了资源的浪费。
6）节省资源，优化硬件资源的使用
根据流量进行业务组件的扩缩容，可节省机器资源。
4.实验开始

1.环境说明（centos7.9）