详细解读Service|详细解读Service Mesh的数据面Envoy
、
一、Envoy的工作模式
文章图片
Envoy的工作模式如图所示，横向是管理平面。
Envoy会暴露admin的API，可以通过API查看Envoy中的路由或者集群的配置。
例如通过curl http://127.0.0.1:15000/routes可以查看路由的配置，结果如下图，请记住路由的配置层级，后面在代码中会看到熟悉的数据结构。
文章图片
routes下面有virtual_hosts，里面有带prefix的route，里面是route entry，里面是weight cluster，对于不同的cluster不同的路由权重，再里面是cluster的列表，有cluster的名称和权重。
再如通过curl http://127.0.0.1:15000/clusters可以得到集群也即cluster的配置，这里面是真正cluster的信息。
文章图片
在另外一面，Envoy会调用envoy API去pilot里面获取路由和集群的配置，envoy API的详情可以查看https://www.envoyproxy.io/docs/envoy/v1.8.0/api-v2/http_routes/http_routes中的API文档，可以看到route的配置详情，也是按照上面的层级组织的。
当Envoy从pilot获取到路由和集群信息之后，会保存在内存中，当有个客户端要连接后端的时候，客户端处于Downstream，后端处于Upstream，当数据从Downstream流向Upstream的时候，会通过Filter，根据路由和集群的配置，选择后端的应用建立连接，将请求转发出去。
接下来我们来看Envoy是如何实现这些的。
二、Envoy的关键数据结构的创建
文章图片
Envoy的启动会在main函数中创建Envoy::MainCommon，在它的构造函数中，会调用父类MainCommonBase的构造函数，创建Server::InstanceImpl，接下来调用InstanceImpl::initialize(...)
接下来就进入关键的初始化阶段。
【详细解读Service|详细解读Service Mesh的数据面Envoy】加载初始化配置，里面配置了Listener Discover Service, Router Discover Service, Cluster Discover Service等。
InstanceUtil::loadBootstrapConfig(bootstrap_, options);
创建AdminImpl，从而可以接受请求接口
文章图片
创建ListenerManagerImpl，用于管理监听，因为Downstream要访问Upstream的时候，envoy会进行监听，Downstream会连接监听的端口。
文章图片
在ListenerManagerImpl的构造函数中，创建了很多的worker，Envoy采用libevent监听socket的事件，当有一个新的连接来的时候，会将任务分配给某个worker进行处理，从而实现异步的处理。
文章图片
createWorker会创建WorkerImpl，初始化WorkerImpl需要两个重要的参数。
一个是allocateDispatcher创建出来的DispatcherImpl，用来封装libevent的事件分发的。
一个是ConnectionHandlerImpl，用来管理一个连接的。
我们接着看初始化过程，创建ProdClusterManagerFactory，用于创建Cluster Manager，管理上游的集群。
文章图片
在ProdClusterManagerFactory会创建ClusterManagerImpl，在ClusterManagerImpl的构造函数中，如果配置了CDS，就需要订阅Cluster Discover Service。
文章图片
会调用ProdClusterManagerFactory::createCds，里面会创建CdsApiImpl。在CdsApiImpl的构造函数中，会创建CdsSubscription，订阅CDS，当集群的配置发生变化的时候，会调用CdsApiImpl::onConfigUpdate(...)
接下来在InstanceImpl::initialize的初始化函数中，如果配置了LDS，就需要订阅Listener Discover Service。
文章图片
ListenerManagerImpl的createLdsApi会调用ProdListenerComponentFactory的createLdsApi函数，会创建LdsApiImpl。在LdsApiImpl的构造函数中，会创建LdsSubscription，订阅LDS，当Listener的配置改变的时候，会调用LdsApiImpl::onConfigUpdate(...)
三、Envoy的启动
文章图片
MainCommonBase::run() 会调用InstanceImpl::run()，会调用InstanceImpl::startWorkers()，会调用ListenerManagerImpl::startWorkers。
startWorkers会将Listener添加到所有的worker中，然后启动worker的线程。
文章图片
对于每一个WorkerImpl，会调用ConnectionHandlerImpl的addListener函数，会创建ActiveListener对象，ActiveListener很重要，他的函数会在libevent收到事件的时候被调用。
在ActiveListener的构造函数中，会调用相同Worker的DispatcherImpl的createListener，创建Network::ListenerImpl，注意这个类的namespace，因为对于Envoy来讲，LDS里面有个Listener的概念，但是Socket也有Listener的概念，在Network这个namespace下面的，是对socket和libevent的封装。
在Network::ListenerImpl的构造函数中，当收到事件的时候，会调用注册的listenCallback函数。
文章图片
在listenCallback函数中，会调用onAccept函数，这个函数是ConnectionHandlerImpl::ActiveListener::onAccept函数。
文章图片
四、Envoy从Pilot中获取Listener
文章图片
当Listener的配置有变化的时候，会调用LdsApiImpl::onConfigUpdate(...)。
会调用ListenerManagerImpl的addOrUpdateListener(...)函数，在这里面，会创建一个ListenerImpl，
这里的listener是LDS定义的Listener，而非网络的Listener了。
在ListenerImpl的构造函数中，首先会创建ListenerFilter，可以对监听的socket进行定制化的配置，例如为了实现use_original_dst，就需要加入一个ListenerFilter。
为了创建ListenerFilter，先要调用ProdListenerComponentFactory::createListenerFilterFactoryList_来创建工厂。
创建完了ListenerFilter之后，为了对于进来的网络包进行处理，会创建NetworkFilter，正是这些NetworkFilter实现了对网络包的解析，并根据网络包的内容，实现路由和负载均衡策略。
为了创建NetworkFilter，先要调用ProdListenerComponentFactory::createNetworkFilterFactoryList_来创建工厂，在这个函数里面，会遍历所有的NamedNetworkFilterConfigFactory，也即起了名字的filter都过一遍，都有哪些呢？class NetworkFilterNameValues里面有定义，这里面最重要的是：
文章图片
我们这里重点看HTTP协议的转发，我们重点看这个名字对应的HttpConnectionManagerFilterConfigFactory，并调用他的createFilterFactory函数，返回一个Network::FilterFactoryCb类型的callback函数。
五、Envoy订阅RDS
文章图片
HttpConnectionManagerFilterConfigFactory的createFilterFactory函数最终调用createFilterFactoryFromProtoTyped函数中，会创建
Router::RouteConfigProviderManagerImpl。
文章图片
创建完毕Router::RouteConfigProviderManagerImpl之后，会创建HttpConnectionManagerConfig，将Router::RouteConfigProviderManagerImpl作为成员变量传入。
文章图片
在HttpConnectionManagerConfig的构造函数中，调用Router::RouteConfigProviderUtil::create。
文章图片
Router::RouteConfigProviderUtil::create会调用RouteConfigProviderManagerImpl::createRdsRouteConfigProvider，在这个函数里面，会创建RdsRouteConfigSubscription订阅RDS，然后创建RdsRouteConfigProviderImpl。
当Router的配置发生变化的时候，会调用RdsRouteConfigProviderImpl::onConfigUpdate()，在这个函数里面，会从pilot获取Route的配置，生成ConfigImpl对象。
当我们仔细分析ConfigImpl的时候，我们发现，这个数据结构和第一节Envoy中的路由配置是一样的。
在ConfigImpl里面有RouteMatcher用于匹配路由，在RouteMatcher里面有VirtualHostImpl，在VirtualHostImpl里面有RouteEntryImplBase，其中一种RouteEntry是WeightedClusterEntry，在WeightedClusterEntry里面有cluster_name_和cluster_weight_。
到此RouteConfigProviderManagerImpl如何订阅RDS告一段落，我们回到HttpConnectionManagerFilterConfigFactory的createFilterFactoryFromProtoTyped中，在这个函数的最后一部分，将返回Network::FilterFactoryCb，是一个callback函数，作为createFilterFactoryFromProtoTyped的返回值。
在这个callback函数中，会创建Http::ConnectionManagerImpl，将HttpConnectionManagerConfig作为成员变量传入，Http::ConnectionManagerImpl是一个Network::ReadFilter。在Envoy里面，有Network::WriteFilter和Network::ReadFilter，其中从Downstream发送到Upstream的使用Network::ReadFilter对网络包进行处理，反方向的是使用Network::WriteFilter。
callback函数创建ConnectionManagerImpl之后调用filter_manager.addReadFilter，将ConnectionManagerImpl放到ReadFilter列表中。当然这个callback函数现在是不调用的。
createFilterFactoryFromProtoTyped的返回值callback函数会返回到ProdListenerComponentFactory::createNetworkFilterFactoryList_函数，这个函数返回一个callback函数列表，其中一个就是上面生成的这个函数。
再返回就回到了ListenerImpl的构造函数，他会调用addFilterChain，将ProdListenerComponentFactory::createNetworkFilterFactoryList_返回的callback函数列表加入到链里面。
六、当一个新的连接建立的时候
文章图片
通过前面的分析，我们制定当一个新的连接建立的时候，会触发libevent的事件，最终调用ConnectionHandlerImpl::ActiveListener::onAccept函数。
在这个函数中，会调用使用上面createListenerFilterFactoryList_创建的ListenerFilter的工厂创建ListenerFilter，然后使用这些Filter进行处理。
文章图片
ConnectionHandlerImpl::ActiveSocket::continueFilterChain函数调用ConnectionHandlerImpl::ActiveListener::newConnection，创建一个新的连接。
在ConnectionHandlerImpl::ActiveListener::newConnection函数中，先是会调用DispatcherImpl::createServerConnection，创建Network::ConnectionImpl，在Network::ConnectionImpl的构造函数里面：
文章图片
对于一个新的socket连接，对于操作系统来讲是一个文件，也即有个文件描述符，当一个socket可读的时候，会触发一个事件，当一个socket可写的时候，可以触发另一个事件，发生事件后，调用onFileEvent。
在ConnectionHandlerImpl::ActiveListener::newConnection函数中，接下来就应该为这个连接创建NetworkFilter了。
文章图片
上面这段代码，会调用ListenerImpl::createNetworkFilterChain。
里面调用Configuration::FilterChainUtility::buildFilterChain(connection, filter_factories)；
文章图片
可以看出这里会调用上面生成的callback函数，将ConnectionManagerImpl放到ReadFilter列表中。
七、当有新的数据到来的时候
文章图片
当Downstream发送数据到Envoy的时候，socket就处于可读的状态，因而ConnectionImpl::onFileEvent函数会被调用，当事件是Event::FileReadyType::Read的时候，调用ConnectionImpl::onReadReady()。
在ConnectionImpl::onReadReady()函数里面，socket将数据读入缓存。
文章图片
然后调用ConnectionImpl::onRead，里面调用filter_manager_.onRead()使用NetworkFilter对于数据进行处理。
FilterManagerImpl::onRead() 会调用FilterManagerImpl::onContinueReading有下面的逻辑。
文章图片
对于每一个Filter，都调用onData函数，咱们上面解析过，其中HTTP对应的ReadFilter是ConnectionManagerImpl，因而调用ConnectionManagerImpl::onData函数。
八、对数据进行解析
文章图片
ConnectionManagerImpl::onData函数中，首先创建数据解析器。
文章图片
文章图片
解析的参数是settings_，可以看出这里面解析url，然后解析header，结束后调用onHeadersCompleteBase()函数，然后解析正文。
由于路由是根据HTTP头里面的信息来的，因而我们重点看ConnectionImpl::onHeadersCompleteBase()，里面会调用ServerConnectionImpl::onHeadersComplete函数。
文章图片
ServerConnectionImpl::onHeadersComplete里面调用ConnectionManagerImpl::ActiveStream::decodeHeaders这到了路由策略的重点。
文章图片
这里面调用了两个函数，一个是refreshCachedRoute()刷新路由配置，并查找到匹配的路由项Route Entry。
另一个是ConnectionManagerImpl::ActiveStream::decodeHeaders的另一个实现。
文章图片
routeConfigProvider()返回的就是RdsRouteConfigProviderImpl，其config函数返回的就是ConfigImpl，也就是上面我们描述过的层级的数据结构。
文章图片
ConfigImpl的route函数如下
文章图片
得到匹配的Route Entry后，调用RouteEntryImplBase::clusterEntry获取一个Cluster的名字。对于WeightedCluster，会调用下面的函数。
文章图片
在这个函数里面，会根据权重选择一个WeightedClusterEntry返回。
这个时候，我们得到了后面Cluster，也即集群的名称，接下来需要得到集群的具体的IP地址并建立连接。
十、查找集群并建立连接
ConnectionManagerImpl::ActiveStream::decodeHeaders的另一个实现会调用Route.cc里面的Filter::decodeHeaders。
文章图片
在Filter::decodeHeaders函数中有以下的实现。
文章图片
ClusterManagerImpl::httpConnPoolForCluster调用ClusterManagerImpl::ThreadLocalClusterManagerImpl::ClusterEntry::connPool函数。
在这个函数里面，HostConstSharedPtr host = lb_->chooseHost(context);
通过负载均衡，在一个cluster里面选择一个后端的机器建立连接。
出处：https://sq.163yun.com/blog/article/
推荐阅读
- 解读《摩根集团》（1）
- 赋能|赋能|学习关关公益天赋解读~
- Java|Java spi（service provider interface）
- 活的教导7:两个阶段
- cocosbcx白皮书解读（一）|cocosbcx白皮书解读（一）| 区块链如何统一开发者、发行商、用户之间的利益
- 深度解读（《秘密》（八）—健康的秘密）
- 云原生微服务技术趋势解读
- 解读《小岛经济学》（3）
- 想吃山珍海味的烧肉粽吗（详细图文让你秒懂如何操作）
- 适用于小白（VSCode搭建Vue项目，最详细的搭建步骤哦）