Kubelet之TLS|Kubelet之TLS BootStrap启动 Kubelet之TLSBootStrap启动

Kubelet之TLS BootStrap启动 TLS BootStrap启动流程创建bootstrap token与ConfigMap (1).生成token创建secret

kind: Secret metadata: #Name MUST be of form"bootstrap-token-" name: bootstrap-token-07401b namespace: kube-system#Type MUST be 'bootstrap.kubernetes.io/token' type: bootstrap.kubernetes.io/token stringData: # Human readable description. Optional. description: "The default bootstrap token generated by 'kubeadm init'."# Token ID and secret. Required. token-id: 07401b token-secret: f395accd246ae52d# Expiration. Optional. expiration: 2017-03-10T03:22:11Z# Allowed usages. usage-bootstrap-authentication: "true" usage-bootstrap-signing: "true"# Extra groups to authenticate the token as. Must start with "system:bootstrappers:" auth-extra-groups: system:bootstrappers:worker,system:bootstrappers:ingress

1)Extra groups:
表明anyone使用该token进行认证的时候将拥有该组Group所绑定的权利.默认情况下该token具有system:bootstrappers组下的权利.
2)usage-bootstrap-*:
表示该secret能够用来干什么事.
3)id及token生成:
第一种方案:

echo $(openssl rand -hex 3).$(openssl rand -hex 8)

第二种方案:

echo "$(head -c 6 /dev/urandom | md5sum | head -c 6)"."$(head -c 16 /dev/urandom | md5sum | head -c 16)"

需要注意的是在使用 Bootstrap Token 进行引导时，Kubelet 组件使用 Token 发起的请求其用户名为system:bootstrap:，用户组为system:bootstrappers；so我们在创建ClusterRoleBinding时要绑定到这个用户或者组上
(2)ConfigMap的生成策略
首先需要根据(1)中生成的secret及token创建boot-kubeconfig文件
1)设置集群

kubectl config set-cluster bootstrap \ --kubeconfig=bootstrap-kubeconfig-public\ --server=https://${KUBERNETES_MASTER}:6443 \ --certificate-authority=ca.pem \ --embed-certs=true

【Kubelet之TLS|Kubelet之TLS BootStrap启动】2)根据生成的kubeconfig文件生成configmap

kubectl -n kube-public create configmap cluster-info \ --from-file=kubeconfig=bootstrap-kubeconfig-public

3)获取configmap详情

kubectl -n kube-public get configmap cluster-info -o yaml

4)RBAC授权允许匿名用户使用该ConfigMap

kubectl create role anonymous-for-cluster-info --resource=configmaps --resource-name=cluster-info --namespace=kube-public --verb=get,list,watch kubectl create rolebinding anonymous-for-cluster-info-binding --role=anonymous-for-cluster-info --user=system:anonymous --namespace=kube-public

给system:bootstrappers组授权 (1)kubelet首次使用token启动授权

# enable bootstrapping nodes to create CSR apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: create-csrs-for-bootstrapping subjects: - kind: Group name: system:bootstrappers apiGroup: rbac.authorization.k8s.io roleRef: kind: ClusterRole name: system:node-bootstrapper apiGroup: rbac.authorization.k8s.io

或者直接命令行:

kubectl create clusterrolebinding create-csrs-for-bootstrapping --clusterrole=system:bootstrappers --group=system:node-bootstrapper

anyone使用token进行认证通过后进入授权阶段.api-server从该token中获取namespace和name信息,并将该token特殊对待.授予anyone bootstrap权利,将该匿名用户划分到system:bootstraps组.至此anyone使用该token认证的时候都具有了system:node-bootstrapper的权利.
controller-manager配置当api-server完成对kubelet获取证书请求的认证授权之后,需要controller-manager对kubelet生成证书并发.
(1)证书配置
为了使controller-manager完成证书的签名需要配置ca证书

--cluster-signing-cert-file="/var/lib/kubernetes/ca.pem" --cluster-signing-key-file="/var/lib/kubernetes/ca-key.pem"

(2)Approval授权
为了完成kubelet的创建证书请求CSRs,需要告诉controller-manager通过CSR请求. 通过配置RBAC规则保证controller-manager只对kubelet发起的特定CSR请求自定批准. 以下配置告诉controller自动批准三种证书:

nodeClient kubelet第一次请求获取证书,表明该node暂时还没获取过证书.

# Approve all CSRs for the group "system:bootstrappers" apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: auto-approve-csrs-for-group subjects: - kind: Group name: system:bootstrappers apiGroup: rbac.authorization.k8s.io roleRef: kind: ClusterRole name: system:certificates.k8s.io:certificatesigningrequests:nodeclient apiGroup: rbac.authorization.k8s.io

selfnodeclient 请求重新获取证书请求当证书过期之后.

# Approve renewal CSRs for the group "system:nodes" apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: auto-approve-renewals-for-nodes subjects: - kind: Group name: system:nodes apiGroup: rbac.authorization.k8s.io roleRef: kind: ClusterRole name: system:certificates.k8s.io:certificatesigningrequests:selfnodeclient apiGroup: rbac.authorization.k8s.io

3)selfnodeserver kubelet server renew自己的证书发起的CSR请求,即是10250端口使用的证书
白话:nodeclient 类型的 CSR 仅在第一次启动时会产生，selfnodeclient 类型的 CSR 请求实际上就是 kubelet renew 自己作为 client 跟 apiserver 通讯时使用的证书产生的，selfnodeserver 类型的 CSR 请求则是 kubelet 首次申请或后续 renew 自己的 10250 api 端口证书时产生的
(3)自动续期下的引导过程

kubelet 读取 bootstrap.kubeconfig，使用其 CA 与 Token 向 apiserver 发起第一次 CSR 请求(nodeclient)
apiserver 根据 RBAC 规则自动批准首次 CSR 请求(approve-node-client-csr)，并下发证书(kubelet-client.crt)
kubelet 使用刚刚签发的证书(O=system:nodes, CN=system:node:NODE_NAME)与 apiserver 通讯，并发起申请 10250 server 所使用证书的 CSR 请求
apiserver 根据 RBAC 规则自动批准 kubelet 为其 10250 端口申请的证书(kubelet-server-current.crt)
证书即将到期时，kubelet 自动向 apiserver 发起用于与 apiserver 通讯所用证书的 renew CSR 请求和 renew 本身 10250 端口所用证书的 CSR 请求
apiserver 根据 RBAC 规则自动批准两个证书
kubelet 拿到新证书后关闭所有连接，reload 新证书，以后便一直如此

根据token创建kubeconfig文件 (1) 设置集群参数

API_SERVER = https://192.168.124.18:6443 kubectl config set-cluster bootstrap --certificate-authority=/etc/kubernetes/ssl/ca.key --embed-certs=true --server=${API_SERVER} --kubeconfig=bootstrap.kubeconfig

(2)设置客户端认证参数

kubectl config set-credentials kubelet-bootstrap --token=*.** --kubeconfig=bootstrap.kubeconfig

(3)设置默认上下文context

kubectl config set-context bootstrap --user=kubelet-bootstrap --cluster=bootstrap --kube-config=bootstrap.kubeconfig

(4)设置默认上下文
kubectl config use-context bootstrap --kubeconfig=bootstrap.kubeconfig
创建kubelet启动文件配置参数 (1)api-server配置token启动
--enable-bootstrap-token-auth
(2)controller-manager
1)--controllers=*,bootstrapsigner,tokenclean:自动签名
2)--experimental-cluster-signing-duration:指定证书超时时间
(3)kubelet设置自动获取证书
1)--rotate-certificates:自旋获取证书
2)开启自旋获取客户端及server端证书--feature-gates=RotateKubeletClientCertificate=true,RotateKubeletServerCertificate=true默认是开启的
3)--bootstrap-kubeconfig与--kubeconfig指定配置参数
(3)kubelet.service启动文件

[Unit] Description=this is my kubelet [Service] EnvironmentFile=-/etc/kubernetes/config.conf EnvironmentFile=-/etc/kubernetes/kubelet.conf ExecStart=/usr/local/bin/kubelet \ $KUBELET_CONFIG \ $KUBELET_ADDRESSRestart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-users.target

配置文件如下:

KUBELET_CONFIG="--cgroup-driver=systemd --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice --cert-dir=/etc/kubernetes/ssl --cluster -domain=cluster.local --cluster-dns=10.254.0.2 --bootstrap-kubeconfig=/etc/kuber netes/bootstrap.kubeconfig --kubeconfig=/etc/kubernetes/kubeconfig --network-plu gin=cni --pod-cidr=10.254.0.0/16 --rotate-certificates" KUBELET_ADDRESS="--address=192.168.124.18"