# 如果在calico的配置文件里配置: conf.Policy.PolicyType 的值为 k8s # 那么它会从POD中获取POD的labels和annotations，再根据配置文件的 conf.IPAM.Type 的值是否是 calico-ipam # 然后从annotations中分别取出KEY：cni.projectcalico.org/ipv4pools、cni.projectcalico.org/ipv6pools(若有)的值配置ipv4地址池和ipv6地址池 # 然后从annotations取出KEY：cni.projectcalico.org/ipAddrsNoIpam、cni.projectcalico.org/ipAddrs(如果有)的值配置ipAddrsNoIpamipAddrs参数 # 根据ipAddrsNoIpam和ipAddrs的值有下列4种情况: #1.若 ipAddrs 和 ipAddrsNoIpam 的值为空则直接通过 calico-ipam 去分配IP #2.若 ipAddrs 和 ipAddrsNoIpam 的值均不为空则抛出错误 (不能同时配置ipAddrs和ipAddrsNoIpam) #3.若 ipAddrsNoIpam 不为空则使用ipAddrsNoIpam设置的IP地址作为result（不调用calico-ipam） #4.若 ipAddrs 不为空则使用 ipAddrs 设置的IP地址调用calico-ipam进行分配# 默认情况下Calico对整个POD CIDR使用单个IP池，但是可将Pod CIDR划分为多个池! ... # 可使用命名空间将单独的IP池分配给特定的节点选择，或分配给集群中的团队、用户、应用 ...

# ref: https://docs.projectcalico.org/reference/etcd-rbac/calico-etcdv3-paths# etcd保存了calico的网络元数据，用于协调calico网络的多个节点# etcd每个目录保存的数据大致功能如下 1./calico/ipam# IP地址分配管理，保存了节点上分配的各个子网段及网段中IP地址的分配情况 2./calico/v1# profile和policy的配置信息，节点上运行的容器endpoint信息（IP地址、veth pair interface的名字等） 3./calico/bgp# 和BGP相关的信息，包括mesh是否开启，每个节点作为gateway通信的IP地址，AS number等

# BIRD是布拉格查理大学数学与物理学院的一个学校项目，项目名是 BIRD Internet Routing Daemon 的缩写 # BIRD项目旨在开发功能齐全的动态IP路由守护进程，主要针对（但不限于）Linux、FreeBSD和其他类UNIX ... # 它支持很多的路由协议: BGP、RIP、OSPF等，Calico正是利用它在节点间学习路由信息，并最终形成全网互联 ... # 官网 https://bird.network.cz

# 环境需求: https://docs.projectcalico.org/getting-started/kubernetes/requirements # 快速安装: https://docs.projectcalico.org/getting-started/kubernetes/quickstart # 官方答疑: https://docs.projectcalico.org/reference/faq # 指定节点IP作为calico使用的地址：https://docs.projectcalico.org/networking/ip-autodetection# 默认安装以下资源 #1.calico/node使用DaemonSet在每个主机上运行，关于其声明中的环境变量参数：https://docs.projectcalico.org/reference/node/configuration #2.使用DaemonSet在每台Node安装Calico CNI二进制文件和网络配置 #3.calico/kube-controllers作为Deployment资源实例运行 #4.calico-etcd-secrets，可选的，提供TLS ETCD #5.calico-configConfigMap，包含用于配置安装的参数: calico_backend(后端使用)、cni_network_config(CNI网络配置安装在每个节点)

# -------------- Host_0 ---------------|| -------------- Host_1 ---------------| #||| #[network Namespace_0]||[network Namespace_1]| #[10.20.1.2/24]| -------- |[10.20.1.3/24]| #\192.168.1.32 || 192.168.1.16/| #[veth0] --[ens192] --||--[ens192] --[veth0]| #-------------------------------------------------------------------------------------------------| # [Host_0]# ip route show[Host_1]# ip route show # <10.20.1.2 dev veth0 scope link><10.20.1.3 dev veth0 scope link> # <10.20.1.3 via 192.168.1.16 dev ens192><10.20.1.2 via 192.168.1.32 dev ens192> # ............# --------------------------------------------- Host_0ip link add veth0 type veth peer name eth0# 创建 veth 设备并为其两端命名为 veth0 与 eth0 ip netns add ns0# 创建网络命名空间: ns0 ip link set eth0 netns ns0# 将宿主机的 eth0 添加到ns0虚拟网络环境 ... ip netns exec ns0 ip a add 10.20.1.2/24 dev eth0# 进入容器的网络名称空间，设置容器的IP ip netns exec ns0 ip link set eth0 up# 启用在容器一端的 veth 设备 ip netns exec ns0 ip route add 169.254.1.1 dev eth0 scope link# ... ip netns exec ns0 ip route add default via 169.254.1.1 dev eth0# ns0网络空间的所有数据都转发到一个虚拟的IP:169.254.1.1发送ARP请求 ip link set veth0 up# 启用宿主机一端的 veth 设备 ip route add 10.20.1.2 dev veth0 scope link# 宿主机中设备本机容器IP的路由信息 ip route add 10.20.1.3 via 192.168.1.16 dev ens192# 宿主机中设置其他节点的容器IP的路由信息 (下一跳指向了Host_1) echo 1 > /proc/sys/net/ipv4/conf/veth0/proxy_arp# 开启宿主机的ARP代理功能 ...# --------------------------------------------- Host_1ip link add veth0 type veth peer name eth0# ip netns add ns1# ip link set eth0 netns ns1# 注: ip netns exec ns1 ip a add 10.20.1.3/24 dev eth0# 容器的IP是一个可直接进行路由的地址 (以实现裸机性能) ip netns exec ns1 ip link set eth0 up# 而在flannel的vxlan模式下，需将此地址通过其大二层进行路由 ... ip netns exec ns1 ip route add 169.254.1.1 dev eth0 scope link# ip netns exec ns1 ip route add default via 169.254.1.1 dev eth0# ip link set veth0 up# ip route add 10.20.1.3 dev veth0 scope link# ip route add 10.20.1.2 via 192.168.1.32 dev ens192# echo 1 > /proc/sys/net/ipv4/conf/veth0/proxy_arp## --------------------------------------------- # 在宿主机 Host_0 进行两端容器地址网络连通性测试 $ ip netns exec ns1 ping 10.20.1.3# PING 10.20.1.3 (10.20.1.3) 56(84) bytes of data. 64 bytes from 10.20.1.3: icmp_seq=1 ttl=62 time=0.303 ms 64 bytes from 10.20.1.3: icmp_seq=2 ttl=62 time=0.334 ms ...# --------------------------------------------- 总结 # 具体的转发过程如下：# 1.Host_0 的 veth 端收到ARP请求时通过开启网卡的代理ARP功能直接把自己的MAC返回给ns0的容器 (这是重点) # 2.ns0的容器发送的数据表中目的地址为对端ns1中的容器IP # 3.因为使用了169.254.1.1这样的保留IP，宿主机判断为基于L3的路由转发，根据其路由表 10.20.1.3 via 192.168.1.16 dev ens192 发往 Host_1 # 4.如果配置了BGP，这里就会看到 proto 协议为 BIRD ... # 5.当Host_1收到来自容器10.20.1.3的数据包时，根据其路由表 10.20.1.3 dev veth0 scope link，转发到对应的 veth0 端从而到达 ns1 # 6.回程相同 ...

Note that when using Calico in on-prem deployments you can also advertise service IP addresses allowing services to be conveniently accessed without going via a node port or load balancer ......# Calico是L3网络，其中每个Pod都获得/32的IP，且没有Pod的广播域 ...# 正是因为集群内各宿主机中的容器所属网段或容器的IP不同，因此可将这些宿主机配成路由器并按容器的网段或IP配置路由表# 实际上Calico项目提供的BGP网络解决方案与Flannel的 host-gw 模式几乎一样 ... # 所有数据包都通过路由的形式找到对应的主机和容器，然后通过BGP协议将所有路由同步到所有的机器或数据中心，从而完成整个网络互联 # 就是说Calico也是基于路由表实现容器数据包转发，但不同于Flannel使用flanneld进程来维护路由信息的做法 # 综上所述: 它在宿主机创建若干veth pair，一端在主机上，另一端在容器内，然后在容器和宿主机中分别设置路由来形成网络互联# -----------------------------------------Calico的优势 #1.没有封包和解包过程，完全基于两端宿主机的路由表进行转发 (无隧道封装的开销) #2.相比于通过overlay构成的大二层网络，用IBGP构成的扁平二层网络扩展模式更符合传统IP网络的分布式结构 #3.不会对物理层网络的二层参数如 MTU 引入新的要求 #4.能够配合使用 Network Policy 来实现 Pod 与 Pod 之间的访问控制Calico的劣势 #1.不易持多租户，而overlay中vxlan模式的VID实现了多租户的功能 (仅公司自用场景可行) #2.路由条目与POD数量相同，非常容易超过路由器、三层交换、甚至Node的处理能力，从而限制整个网络的扩张 #3.不容易与其他基于主机路由的网络应用集成 #4.要求宿主机处于同一个2层网络下，也就是连在一台交换机上 (否则需要中间的路由器进行BGP相关的配置)# -----------------------------------------Why all cali* interfaces have the MAC address ee:ee:ee:ee:ee:ee? # 在某些设置中内核无法生成持久性MAC，因此Calico就自己分配了这个MAC # 由于Calico使用点对点路由接口，因此流量不会到达数据链路层，所以对于所有 cali* 接口而言它们的MAC地址都是可以相同的Why can’t I see the 169.254.1.1 address mentioned above on my host? # Calico为了尽力避免干扰宿主机的任何其他配置，所以不会在每个POD接口的主机侧添加网关地址，而是利用了 proxy_arp ... # 这使得主机的行为就像网关一样，因此就不再需要为宿主端的接口分配实际的IP即可响应 169.254.1.1 的 ARP :-)# -----------------------------------------# BGP协议 # https://en.wikipedia.org/wiki/Border_Gateway_Protocol # https://docs.projectcalico.org/networking/bgp

推荐阅读

• 

  蓦字五行属什么 蓦字读音及解释
• 

  企业qq怎么登录邮箱 企业QQ邮箱登录的方法教程
• 

  手工皂长出菌斑怎么回事 手工皂出现白斑
• 

  如何结束mysql命令行，mysql怎么终止命令
• 

  中国邮政在线客服 邮政客服电话人工服务，中国邮政快递法规
• 

  元气骑士iOS破解版全无限下载，求元气骑士iOS无限宝石破解版不要越狱的最好带教程
• 

  一篇文章带你入门Java数据结构
• 

  原神各个角色升级材料 《原神》3.4瑶瑶升级材料介绍
• 

  染头发为什么会爆顶
• 

  电视机通电后无任何反应什么原因,各个方面来对比下
• 

  2019一级演员名单 国家一级演员的全部名单
• 

  测量机油的正确方法 测量机油的正确方法视频教程
• 

  宋智孝结婚了吗 宋智孝男朋友
• 

  贵妃芒怎么样才是熟了
• 

  蕨菜什么时候采摘
• 

  为什么有人说“当年流氓真君子,今日君子真流氓”呢？
• 

  黄瓜菌核病如何防治效果好 黄瓜病毒病怎样防治
• 

  初次使用初忆云服务器的感受如何？ 初忆云服务器怎么样
• 

  咖啡蛋糕的做法很需要啊
• 

  六神装是什么

• k8s|kubernetes1.20搭建笔记
• NAT网络地址转换
• 基础网络配置
• Docker下的Spring Cloud三部曲之一（极速体验）
• Docker 镜像时区设置
• 云原生|【云原生】Docker容器是啥（是妙手、本手还是俗手？）
• 计算机网络|第一部分 物理层
• QUIC详解（基于UDP的低延时网络传输层协议）
• 网络|QUIC 是如何解决TCP 性能瓶颈的（）