锐客网

  1. 首页 > 睿知 > >

flume-ng 源码分析

经验分享睿知

写flume ， 需要哪些jar包？定制源代码需要这三个核心jar 。阿帕奇，flumeflumengcore $ {flume，版本}，-1/flumengSDK $ {flume 。version } org . Apache .flume-1/ 。

1、Flume启动问题虚拟机启动Flume时内存不足的错误:第一反应是虚拟机内存太?。?但每个虚拟机至少有2G内存 ， 只启动了flume，所以只启动flume就报错，应该不是这个原因 。第二个反应是flume的通道是使用的内存存储类型 ， 我试着改成文件存储:但是重启的时候还是出错 。回想一下觉得flume没启动的时候应该还没到通道步，这不是问题 。

2、写 flume的source代码需要哪些jar包 custom Source需要这三个核心jarorg 。阿帕奇 。flumeflume-2/core $ {flume 。版本}组织 。阿帕奇 。.ngSDK $ {flume 。version } org . Apache .flumeflumengConfiguration $ { 。

3、 flume- ng-sql-source代替sqoop怎么样Apache官网flume没有找到sql数据源数据捕获的来源，可以用github上的插件:版本基于hibernate，可以适配所有关系数据库 。目前实验环境是windows下，所以参考文章写好了windows下kafka的相关配置和使用 ， 推荐给大家 。

4、Flume系列2-Flume入门安装地址:安装部署:本地使用CDH版本CDH6.3.1，已安装Flume 。这里，安装步骤被跳过，Flume用于监控端口，收集端口数据并将其打印到控制台 。安装netcat ， 检查端口是否被占用 。在Flume的安装目录下创建一个conf/lib目录 。创建flume的配置文件，添加以下内容:第一种写入方式:第二种写入方式:参数描述:conf/c:表示配置文件存放在conf/目录名/n:表示代理名为A1 conf file/f:flume这次开始读取的配置文件在job文件夹/123 。

5、 flume ng和 flumeog的区别collector都称为节点，收集的数据集中在由收集器和通道三个组件组成的Zookeeper中，然后收集器节点汇总存储在HDFS 。master负责管理代理\ ， 使用非常复杂，sink 。□去掉逻辑节点和物理节点的概念和内容□代理节点的构成发生了变化，不再有多重角色 。□代理:□ Flumeng只有一个角色节点:□FlumeOG有三个角色 ， 主节点负责收集各种数据源的日志数据，主节点；收款人□代理人的活动，
【flume-ng 源码分析】表示当前节点的数据从源传输到接收器 。与FlumeNG相比 ， sink由源和收集器组成，节点的角色根据配置的不同分为逻辑节点和物理节点:代理节点代理□无收集器，逻辑节点的区分和配置:代理节点代理:□FlumeOG的稳定性依赖于zookeeper和收集节点col 。

    推荐阅读


    上一篇：时间序列分析

    下一篇：laravel 源码分析