flume介绍及基本配置

2021-09-02

Flume是一个分布式的，可靠的，可用的，非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。Flume仅仅运行在linux环境下。
它是一个基于流式的数据的非常简单的（就写一个配置文件就可以）、灵活的架构，它也是一个健壮的、容错的。它用一个简单的扩展数据模型用于在线实时应用分析。它的简单表现为：写个source、channel、sink，之后一条命令就能操作成功了。
Flume、kafka实时进行数据收集，spark、storm实时去处理，impala实时去查询。

架构图

文章图片

文章图片
Events

Event是Flume数据传输的基本单元
Flume以事件的形式将数据从源头传送到最终的目的
Event由可选的header和载有数据的一个byte array构成
载有的数据对flume是不透明的
Header是容纳了key-value字符串对的无序集合，key在集合内是唯一的。
Header可以在上下文路由中使用扩展

工作原理

source监控某个文件，将数据拿到，封装在一个event当中，并put/commit到chennel当中，chennel是一个队列，队列的优点是先进先出，放好后尾部一个个event出来，sink主动去从chennel当中去拉数据，sink再把数据写到某个地方，比如HDFS上面去。

文章图片

文章图片
系统要求

文章图片
image.png Flume 安装部署

文章图片

-c或--conf 后面跟配置目录
-f或—-conf-file 后面跟具体的配置文件
-n或—-name 指定Agent的名称

Starting an agent

Flume Agent的配置被存储在一个本地配置文件,这是一个根据java属性文件格式的文本文件，在这个配置文件中，包括了对source、sink、channel的属性配置，和其相关联形成数据流的配置。
案例功能描述：
Flume Agent实时监控端口，收集数据，将其以日志的形式打印在控制台。

Flume Agent
【flume介绍及基本配置】Flume的开发就是编写配置文件，说白了就说Agent中Source、Channel和Sink的类型及属性。

文章图片

推荐阅读

上一篇：窗边的小豆豆

下一篇：自我整合