Kubelet之TLS|Kubelet之TLS BootStrap启动
Kubelet之TLS BootStrap启动
TLS BootStrap启动流程
创建bootstrap token与ConfigMap
(1).生成token创建secret
kind: Secret
metadata:
#Name MUST be of form"bootstrap-token-"
name: bootstrap-token-07401b
namespace: kube-system#Type MUST be 'bootstrap.kubernetes.io/token'
type: bootstrap.kubernetes.io/token
stringData:
# Human readable description. Optional.
description: "The default bootstrap token generated by 'kubeadm init'."# Token ID and secret. Required.
token-id: 07401b
token-secret: f395accd246ae52d# Expiration. Optional.
expiration: 2017-03-10T03:22:11Z# Allowed usages.
usage-bootstrap-authentication: "true"
usage-bootstrap-signing: "true"# Extra groups to authenticate the token as. Must start with "system:bootstrappers:"
auth-extra-groups: system:bootstrappers:worker,system:bootstrappers:ingress
1)Extra groups:
表明anyone使用该token进行认证的时候将拥有该组Group所绑定的权利.默认情况下该token具有system:bootstrappers组下的权利.
2)usage-bootstrap-*:
表示该secret能够用来干什么事.
3)id及token生成:
第一种方案:
echo $(openssl rand -hex 3).$(openssl rand -hex 8)
第二种方案:
echo "$(head -c 6 /dev/urandom | md5sum | head -c 6)"."$(head -c 16 /dev/urandom | md5sum | head -c 16)"
(2)ConfigMap的生成策略
首先需要根据(1)中生成的secret及token创建boot-kubeconfig文件
1)设置集群
kubectl config set-cluster bootstrap \
--kubeconfig=bootstrap-kubeconfig-public\
--server=https://${KUBERNETES_MASTER}:6443 \
--certificate-authority=ca.pem \
--embed-certs=true
【Kubelet之TLS|Kubelet之TLS BootStrap启动】2)根据生成的kubeconfig文件生成configmap
kubectl -n kube-public create configmap cluster-info \
--from-file=kubeconfig=bootstrap-kubeconfig-public
3)获取configmap详情
kubectl -n kube-public get configmap cluster-info -o yaml
4)RBAC授权允许匿名用户使用该ConfigMap
kubectl create role anonymous-for-cluster-info --resource=configmaps --resource-name=cluster-info --namespace=kube-public --verb=get,list,watch
kubectl create rolebinding anonymous-for-cluster-info-binding --role=anonymous-for-cluster-info --user=system:anonymous --namespace=kube-public
给system:bootstrappers组授权 (1)kubelet首次使用token启动授权
# enable bootstrapping nodes to create CSR
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: create-csrs-for-bootstrapping
subjects:
- kind: Group
name: system:bootstrappers
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: system:node-bootstrapper
apiGroup: rbac.authorization.k8s.io
或者直接命令行:
kubectl create clusterrolebinding create-csrs-for-bootstrapping --clusterrole=system:bootstrappers --group=system:node-bootstrapper
anyone使用token进行认证通过后进入授权阶段.api-server从该token中获取namespace和name信息,并将该token特殊对待.授予anyone bootstrap权利,将该匿名用户划分到system:bootstraps组.至此anyone使用该token认证的时候都具有了system:node-bootstrapper的权利.
controller-manager配置 当api-server完成对kubelet获取证书请求的认证授权之后,需要controller-manager对kubelet生成证书并发.
(1)证书配置
为了使controller-manager完成证书的签名需要配置ca证书
--cluster-signing-cert-file="/var/lib/kubernetes/ca.pem"
--cluster-signing-key-file="/var/lib/kubernetes/ca-key.pem"
(2)Approval授权
为了完成kubelet的创建证书请求CSRs,需要告诉controller-manager通过CSR请求. 通过配置RBAC规则保证controller-manager只对kubelet发起的特定CSR请求自定批准. 以下配置告诉controller自动批准三种证书:
- nodeClient kubelet第一次请求获取证书,表明该node暂时还没获取过证书.
# Approve all CSRs for the group "system:bootstrappers"
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: auto-approve-csrs-for-group
subjects:
- kind: Group
name: system:bootstrappers
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: system:certificates.k8s.io:certificatesigningrequests:nodeclient
apiGroup: rbac.authorization.k8s.io
- selfnodeclient 请求重新获取证书请求当证书过期之后.
# Approve renewal CSRs for the group "system:nodes"
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: auto-approve-renewals-for-nodes
subjects:
- kind: Group
name: system:nodes
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: system:certificates.k8s.io:certificatesigningrequests:selfnodeclient
apiGroup: rbac.authorization.k8s.io
3)selfnodeserver kubelet server renew自己的证书发起的CSR请求,即是10250端口使用的证书
白话:nodeclient 类型的 CSR 仅在第一次启动时会产生,selfnodeclient 类型的 CSR 请求实际上就是 kubelet renew 自己作为 client 跟 apiserver 通讯时使用的证书产生的,selfnodeserver 类型的 CSR 请求则是 kubelet 首次申请或后续 renew 自己的 10250 api 端口证书时产生的
(3)自动续期下的引导过程
- kubelet 读取 bootstrap.kubeconfig,使用其 CA 与 Token 向 apiserver 发起第一次 CSR 请求(nodeclient)
- apiserver 根据 RBAC 规则自动批准首次 CSR 请求(approve-node-client-csr),并下发证书(kubelet-client.crt)
- kubelet 使用刚刚签发的证书(O=system:nodes, CN=system:node:NODE_NAME)与 apiserver 通讯,并发起申请 10250 server 所使用证书的 CSR 请求
- apiserver 根据 RBAC 规则自动批准 kubelet 为其 10250 端口申请的证书(kubelet-server-current.crt)
- 证书即将到期时,kubelet 自动向 apiserver 发起用于与 apiserver 通讯所用证书的 renew CSR 请求和 renew 本身 10250 端口所用证书的 CSR 请求
- apiserver 根据 RBAC 规则自动批准两个证书
- kubelet 拿到新证书后关闭所有连接,reload 新证书,以后便一直如此
API_SERVER = https://192.168.124.18:6443
kubectl config set-cluster bootstrap --certificate-authority=/etc/kubernetes/ssl/ca.key --embed-certs=true --server=${API_SERVER} --kubeconfig=bootstrap.kubeconfig
(2)设置客户端认证参数
kubectl config set-credentials kubelet-bootstrap --token=*.** --kubeconfig=bootstrap.kubeconfig
(3)设置默认上下文context
kubectl config set-context bootstrap --user=kubelet-bootstrap --cluster=bootstrap --kube-config=bootstrap.kubeconfig
(4)设置默认上下文
kubectl config use-context bootstrap --kubeconfig=bootstrap.kubeconfig
创建kubelet启动文件配置参数 (1)api-server配置token启动
--enable-bootstrap-token-auth
(2)controller-manager
1)--controllers=*,bootstrapsigner,tokenclean:自动签名
2)--experimental-cluster-signing-duration:指定证书超时时间
(3)kubelet设置自动获取证书
1)--rotate-certificates:自旋获取证书
2)开启自旋获取客户端及server端证书--feature-gates=RotateKubeletClientCertificate=true,RotateKubeletServerCertificate=true默认是开启的
3)--bootstrap-kubeconfig与--kubeconfig指定配置参数
(3)kubelet.service启动文件
[Unit]
Description=this is my kubelet
[Service]
EnvironmentFile=-/etc/kubernetes/config.conf
EnvironmentFile=-/etc/kubernetes/kubelet.conf
ExecStart=/usr/local/bin/kubelet \
$KUBELET_CONFIG \
$KUBELET_ADDRESSRestart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-users.target
配置文件如下:
KUBELET_CONFIG="--cgroup-driver=systemd --runtime-cgroups=/systemd/system.slice
--kubelet-cgroups=/systemd/system.slice --cert-dir=/etc/kubernetes/ssl --cluster
-domain=cluster.local --cluster-dns=10.254.0.2 --bootstrap-kubeconfig=/etc/kuber
netes/bootstrap.kubeconfig --kubeconfig=/etc/kubernetes/kubeconfig --network-plu
gin=cni --pod-cidr=10.254.0.0/16 --rotate-certificates"
KUBELET_ADDRESS="--address=192.168.124.18"
推荐阅读
- 简笔画日记之第四天(袋鼠的简笔画)
- 听,小牛妈妈分享《如何找到你的核心用户,助力你的事业风生水起》之所感
- 《赘婿》之商道
- 三宝妈百日分享之五|三宝妈百日分享之五 思路决定出路
- 记一个伪文青的自我救赎之旅
- 20190107感受力之内听觉训练
- 深闺之孤
- 悬崖边的微笑.
- 每日所做之事离梦想更近了吗()
- 吴桂昌(做一家温暖又赚钱的旅行社---技多不压身之分享技能)