Ubuntu通过kubeadm快速搭建k8s集群 _K8S集群

学向勤中得，萤窗万卷书。这篇文章主要讲述Ubuntu通过kubeadm快速搭建k8s集群相关的知识，希望能为你提供帮助。
前言本文是在Ubuntu 18.04 LTS系统上通过kubeadm快速搭建k8s集群，系统使用虚拟机安装，首先安装一台虚拟机（master节点），然后进行环境初始化配置，配置完成后直接克隆出两台工作节点。
环境准备

k8s集群角色	服务IP	主机名
控制节点	192.168.229.200	k8s-master200
工作节点	192.168.229.205	k8s-node205
工作节点	192.168.229.206	k8s-node206

服务器规划好以后，下面开始对环境进行初始化配置，在克隆虚拟机这一节之前所有操作都是在控制节点（192.168.229.200）上进行的，因为环境的配置都是一样的，现在一个服务器上配置完后直接克隆，可以方便快速完成集群的搭建。
配置静态IP 网络配置

cd /etc/netplan #修改yaml文件，名称前缀也可能是其他数字 sudo vi 00-network-manager-all.yaml

配置内容如下，主要修改IP地址和网关地址，需要注意网卡的名称是否跟自己网卡的名称一致

#配置如下 network: version: 2 renderer: NetworkManager ethernets: ens33:#网卡名称通过ifconfig查看 dhcp4: no#dhcp4关闭 dhcp6: no#dhcp6关闭 addresses: [192.168.229.200/24]#设置IP掩码 gateway4: 192.168.229.2#设置网关 nameservers: addresses: [114.114.114.114]#设置dns

修改生效

sudo netplan apply ifconfig

安装ssh服务

#查看是否启动ssh服务 ps -ef|grep ssh #如果没有安装则安装 sudo apt-get install openssh-server #查看ssh服务状态 systemctl status sshd

设置hostname修改/etc/hostname文件，设置当前服务器的hostname

sudo hostnamectl set-hostname k8s-master200 & & bash

添加hosts修改/etc/hosts，添加各个服务器的host

192.168.229.200 k8s-master200 192.168.229.205 k8s-node205 192.168.229.206 k8s-node206

配置时间同步

#查询上海时区 timedatectl list-timezones|grep Shanghai #设置上海时区 sudo timedatectl set-timezone Asia/Shanghai #安装ntpdate sudo apt-get install ntpdate #跟网络时间同步 sudo ntpdate cn.pool.ntp.org #添加计划自动同步时间-1分钟同步一次 sudo vi /etc/crontab * */1 * * *rootntpdate -s cn.pool.ntp.org#重启计划服务 sudo service cron restart

修改系统镜像源Ubuntu国内镜像源有很多，下面列举几个常用的，大家根据实际情况自己选择。
阿里镜像源

#阿里镜像源 deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

中科大镜像源

#中科大镜像源 deb https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

清华镜像源

# 清华镜像源 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

修改镜像源

#备份原镜像 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak #复制上面一个镜像进来即可 sudo vi /etc/apt/sources.list #更新系统源 sudo apt-get upgrade #更新软件包 sudo apt-get update

安装docker 安装最新版本

# 安装所需依赖 sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common # 安装 GPG 证书 curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add - # 新增软件源信息 sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" # 再次更新软件源 sudo apt-get -y update # 安装docker最新版 sudo apt-get -y install docker-ce

安装指定版本
如果不想安装最新版本，需要安装指定版本，可以先查看docker有哪些版本，然后指定版本号进行安装，操作如下：

#查看docker版本 sudo apt-cache madison docker-ce

#列出如下版本信息 docker-ce | 5:20.10.6~3-0~ubuntu-bionic | http://mirrors.aliyun.com/docker-ce/linux/ubuntu bionic/stable amd64 Packages docker-ce | 5:20.10.5~3-0~ubuntu-bionic | http://mirrors.aliyun.com/docker-ce/linux/ubuntu bionic/stable amd64 Packages docker-ce | 5:20.10.4~3-0~ubuntu-bionic | http://mirrors.aliyun.com/docker-ce/linux/ubuntu bionic/stable amd64 Packages docker-ce | 5:20.10.3~3-0~ubuntu-bionic | http://mirrors.aliyun.com/docker-ce/linux/ubuntu bionic/stable amd64 Packages docker-ce | 5:20.10.2~3-0~ubuntu-bionic | http://mirrors.aliyun.com/docker-ce/linux/ubuntu bionic/stable amd64 Packages docker-ce | 5:20.10.1~3-0~ubuntu-bionic | http://mirrors.aliyun.com/docker-ce/linux/ubuntu bionic/stable amd64 Packages docker-ce | 5:20.10.0~3-0~ubuntu-bionic | http://mirrors.aliyun.com/docker-ce/linux/ubuntu bionic/stable amd64 Packages ...............................

#指定版本安装 sudo apt-get install -y docker-ce=5:19.03.9~3-0~ubuntu-bionic

查看docker信息

sudo docker version sudo docker info

修改docker配置

"registry-mirrors": ["https://替换为自己的阿里云.mirror.aliyuncs.com"], "insecure-registries": ["192.168.229.100:5000"], "exec-opts": ["native.cgroupdriver=systemd"]

sudo systemctl enable docker sudo systemctl daemon-reload sudo systemctl restart docker

docker权限问题在Ubuntu系统中，由于都是通过普通用户进行操作，需要权限的操作都需要加上sudo很不方便，可以通过如下方式设置

#检查是否有docker group sudo groupadd docker #将当前用户加到 docker group 中 sudo usermod -aG docker $USER #最后运行如下命令，如果还不能使用，就需要注销下当前用户再重新登录或者直接重启 newgrp docker

安装k8s准备关闭交换分区

#临时关闭 sudo swapoff -a #永久关闭-注释掉最后一行的swap sudo vi /etc/fstab

安装依赖

sudo apt-get install -y apt-transport-https

安装gpg证书

curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -

添加k8s源

sudo vi /etc/apt/sources.list #在最后一行新增如下源 deb https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial main

更新源

sudo apt-get update

安装kubeadm
安装最新版本

#安装最新版本 sudo apt-get install -y kubelet kubeadm kubectl

安装指定版本

#查看有哪些版本 sudo apt-cache madison kubeadm #安装指定版本 sudo apt-get install -y kubelet=1.20.6-00 kubeadm=1.20.6-00 kubectl=1.20.6-00

查看安装信息

kubeadm version

启动kubelet

sudo systemctl start kubelet sudo systemctl enable kubelet systemctl status kubelet

配置预检查
在安装之前需要注意，kubeadm init 命令在执行具体的安装过程之前，会做一系列的系统预检查，以确保主机环境符合安装要求，如果检查失败，就直接终止，不在进行init操作。因此我们可以通过kubeadm init phase preflight命令执行预检查操作，确保系统就绪后再进行init操作，如果检查结果提示我的CPU和内存小于最低要求，我们就可以根据提示进行修改，预检查命令如下：

kubeadm init phase preflight

准备k8s镜像

kubeadm config images list

当前版本k8s需要的镜像如下所示：

k8s.gcr.io/kube-apiserver:v1.20.15 k8s.gcr.io/kube-controller-manager:v1.20.15 k8s.gcr.io/kube-scheduler:v1.20.15 k8s.gcr.io/kube-proxy:v1.20.15 k8s.gcr.io/pause:3.2 k8s.gcr.io/etcd:3.4.13-0 k8s.gcr.io/coredns:1.7.0

编写pullk8s.sh脚本，用来从国内镜像仓库下载所需的k8s镜像，然后再tag成k8s.gcr.io的镜像，脚本内容如下：

for i in `kubeadm config images list`; do imageName=$i#k8s.gcr.io/ #echo $imageName docker pull registry.aliyuncs.com/google_containers/$imageName docker tag registry.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName docker rmi registry.aliyuncs.com/google_containers/$imageName done;

拉取镜像

sudo chmod +x pullk8s.sh ./pullk8s.sh

克隆虚拟机分别克隆虚拟机k8s-node205和k8s-node206，然后设置静态IP以及hostname，IP设置参加第一节，这里不再赘述

#修改k8s-node205的hostname sudo hostnamectl set-hostname k8s-node205 & & bash #修改k8s-node206的hostname sudo hostnamectl set-hostname k8s-node206 & & bash

配置免密登录

#在master200执行 ssh-keygen#一路回车，不输入密码 ssh-copy-id k8s-node205 ssh-copy-id k8s-node206#在k8s-node205执行 ssh-keygen#一路回车，不输入密码 ssh-copy-id k8s-master200 ssh-copy-id k8s-node206#在k8s-node206执行 ssh-keygen#一路回车，不输入密码 ssh-copy-id k8s-master200 ssh-copy-id k8s-node205

初始化k8s集群初始化集群
在master节点k8s-master200初始化k8s集群，操作如下

sudo kubeadm init --kubernetes-version v1.20.6 --apiserver-advertise-address=192.168.229.200 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.10.0.0/16 --image-repository registry.aliyuncs.com/google_containers --ignore-preflight-errors=SystemVerification

参数	说明
--apiserver-advertise-address	k8s中服务apiserver的部署地址，如果不填写，默认是本机
--image-repository	拉取的 docker 镜像源，因为初始化的时候kubeadm会去拉 k8s 的很多组件来进行部署，所以需要指定国内镜像源，下不然会拉取不到镜像
--pod-network-cidr	k8s采用的节点网络，因为我们将要使用flannel作为 k8s 的网络
--kubernetes-version	这个是用来指定你要部署的 k8s 版本的，一般不用填，不过如果初始化过程中出现了因为版本不对导致的安装错误的话，可以用这个参数手动指定

初始化成功

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run:export KUBECONFIG=/etc/kubernetes/admin.confYou should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/Then you can join any number of worker nodes by running the following on each as root:kubeadm join 192.168.229.200:6443 --token qg3mup.6b4g8m28fdp1dumh \\ --discovery-token-ca-cert-hash sha256:181822ecb09b96ef5a6ee32fcebf4bcd2ed6e603a6a324c2bcdc8c44adae318c

配置kubectl
在master节点k8s-master200配置kubectl，操作如下

mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config#查看集群状态 kubectl get nodes

集群节点状态如下，此时集群状态还是 NotReady 状态，因为没有安装网络插件

NAMESTATUSROLESAGEVERSION k8s-master200NotReadycontrol-plane,master3m27sv1.20.6

添加node节点
分别在k8s-node205和k8s-node206两个节点执行如下命令，加入k8s集群

sudo kubeadm join 192.168.229.200:6443 --token qg3mup.6b4g8m28fdp1dumh \\ --discovery-token-ca-cert-hash sha256:181822ecb09b96ef5a6ee32fcebf4bcd2ed6e603a6a324c2bcdc8c44adae318c

命令执行成功后显示如下结果，说明加入成功

This node has joined the cluster: * Certificate signing request was sent to apiserver and a response was received. * The Kubelet was informed of the new secure connection details.Run kubectl get nodes on the control-plane to see this node join the cluster.

在master节点k8s-master200查看集群状态进行验证

k8s-master200NotReadycontrol-plane,master13mv1.20.6 k8s-node205NotReady< none> 11sv1.20.6 k8s-node206NotReady< none> 18sv1.20.6

node节点重新加入
如果node节点加入失败，重新在加入，出现如下问题时，可以在node节点使用sudo kubeadm reset命令重置环境

error execution phase preflight: [preflight] Some fatal errors occurred: [ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists [ERROR Port-10250]: Port 10250 is in use [ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists [preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...` To see the stack trace of this error execute with --v=5 or higher

安装网络插件
下载Calico的yaml文件，下载地址：https://docs.projectcalico.org/manifests/calico.yaml，下载完成后上传到master节点，在master节点k8s-master200安装Calico

sudo kubectl apply -f calico.yaml

查看Calico和coredns的pod的状态，running状态时，说明网络插件安装完成

kubectl get pod -n kube-system

再次查看集群状态，发现节点状态已经是Ready状态了

k8s-master200Readycontrol-plane,master19mv1.20.6 k8s-node205Ready< none> 6mv1.20.6 k8s-node206Ready< none> 6mv1.20.6

安装metrics-server组件metrics-server是一个集群范围内的资源数据集和工具，同样的metrics-server也只是显示数据，并不提供数据存储服务，主要关注的是资源度量API的实现，比如CPU、文件描述符、内存、请求延时等指标，metric-server收集数据给k8s集群内使用，如kubectl,hpa,scheduler等。

#查看集群组件状态 kubectl get cs#没安装metrics-server前显示如下 NAMESTATUSMESSAGEERROR schedulerUnhealthyGet "http://127.0.0.1:10251/healthz": dial tcp 127.0.0.1:10251: connect: connection refused controller-managerUnhealthyGet "http://127.0.0.1:10252/healthz": dial tcp 127.0.0.1:10252: connect: connection refused etcd-0Healthy"health":"true"

部署metrics-server服务
把离线镜像压缩包上传到k8s的各个节点，在每个节点按如下方法手动解压

docker load -i metrics-server-amd64-0-3-6.tar.gz docker load -i addon.tar.gz

在/etc/kubernetes/manifests里面修改一下apiserver的配置，注意：这个是 k8s 在 1.17 的新特性，如果是 1.16 版本的可以不用添加，1.17 以后要添加。这个参数的作用是 Aggregation 允许在不修改 Kubernetes 核心代码的同时扩展 Kubernetes API。

sudo vi /etc/kubernetes/manifests/kube-apiserver.yaml #增加如下内容：- --enable-bootstrap-token-auth=true下面 - --enable-aggregator-routing=true

sudo kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml kubectl get pods -n kube-system#把 CrashLoopBackOff 状态的 kube-apiserver 删除 kubectl delete pods kube-apiserver -n kube-system kubectl apply -f metrics.yaml#测试 kubectl top 命令 kubectl top pods -n kube-system kubectl top nodes

配置监听端口
【Ubuntu通过kubeadm快速搭建k8s集群】默认在 1.19 之后 10252 和 10251 都是绑定在 127.0.0.1 的，如果想要通过 prometheus 监控，会采集不到数据，所以可以把端口绑定到物理机。
分别修改如下两个yaml文件中的内容：

--bind-address=127.0.0.1 变成--bind-address=192.168.229.200
httpGet字段下的 hosts 由 127.0.0.1 变成 192.168.229.200
--port=0 删除

sudo vi /etc/kubernetes/manifests/kube-scheduler.yaml sudo vi /etc/kubernetes/manifests/kube-controller-manager.yaml

重启kubelet
修改之后在 k8s 各个节点重启下 kubelet

sudo systemctl restart kubelet

#再次查看集群组件状态 kubectl get cs#显示如下结果 Warning: v1 ComponentStatus is deprecated in v1.19+ NAMESTATUSMESSAGEERROR controller-managerHealthyok schedulerHealthyok etcd-0Healthy"health":"true"

命令补全