基于flume-ng抓取mysql数据到kafka flume

flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/

在apache flume的官网上没有找到sql数据源数据抓取的source，
可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现，已可以适配所有的关系型数据库。
目前的实验环境是在windows下，所以kafka在windows下相关的配置使用，参考了http://blog.csdn.net/linsongbin1/article/details/48022941
文章写的很到位，推荐给大家。

下面主要说一下flume-ng在windows下的启动，及具体的配置
启动:
“F:\Java\jdk1.8.0_101\bin\java.exe” -Xmx512m -Dlog4j.configuration=file:///E:\apache-flume-1.6.0-bin\conf\log4j.properties -cp "E:\apache-flume-1.6.0-bin\lib\*; E:\apache-flume-1.6.0-bin\plugins.d\sql-source\lib\flume-ng-sql-source-1.4.3-SNAPSHOT.jar; E:\apache-flume-1.6.0-bin\plugins.d\sql-source\libext\mysql-connector-java-5.1.35-bin.jar" org.apache.flume.node.Application -f E:\apache-flume-1.6.0-bin\conf\sql-kafka-conf.properties -n a1

主要的sql-kafka-conf.properties
a1.channels = ch-1
a1.sources = src-1
a1.sinks = k1
###########sql source#################
# For each one of the sources, the type is defined
a1.sources.src-1.type = org.keedio.flume.source.SQLSource
a1.sources.src-1.hibernate.connection.url = jdbc:mysql://127.0.0.1/test
# Hibernate Database connection properties
a1.sources.src-1.hibernate.connection.user = root
a1.sources.src-1.hibernate.connection.password = password
a1.sources.src-1.hibernate.connection.autocommit = true
a1.sources.src-1.hibernate.dialect = org.hibernate.dialect.MySQL5Dialect
a1.sources.src-1.hibernate.connection.driver_class = com.mysql.jdbc.Driver
a1.sources.src-1.run.query.delay=10000
a1.sources.src-1.status.file.path = E://apache-flume-1.6.0-bin
a1.sources.src-1.status.file.name = sqlSource.status
# Custom query
a1.sources.src-1.start.from = 0
a1.sources.src-1.custom.query = select id,name from test_user where id > $@$ order by id asc
a1.sources.src-1.batch.size = 1000
a1.sources.src-1.max.rows = 1000
a1.sources.src-1.hibernate.connection.provider_class = org.hibernate.connection.C3P0ConnectionProvider
a1.sources.src-1.hibernate.c3p0.min_size=1
a1.sources.src-1.hibernate.c3p0.max_size=10
##############################
a1.channels.ch-1.type = memory
a1.channels.ch-1.capacity = 10000
a1.channels.ch-1.transactionCapacity = 10000
a1.channels.ch-1.byteCapacityBufferPercentage = 20
a1.channels.ch-1.byteCapacity = 800000

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = hellotest
a1.sinks.k1.brokerList = localhost:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20
a1.sinks.k1.channel = c1

a1.sinks.k1.channel = ch-1
a1.sources.src-1.channels=ch-1

【基于flume-ng抓取mysql数据到kafka】红色部分是需要注意的，有s

至此就完成了利用flume将mysql数据实时导入到kafka中

基于flume-ng抓取mysql数据到kafka

推荐阅读

再看final关键字

兼职和主业之间的比重该如何安排（）

佳能cp910照片不完整佳能cp910照片格式

单反相机镜头上的字母和数字都代表什么，比如说佳能 EF-S 18-55mm f/3.5-5.6 II USM 镜头。请具体说明一

大金空调主板代码故障排除图解大金空调lc是什么故障 ,要考虑这些方面

afc电路的分析,Afc电路

求几本和灵舟遮天类似的小说

matlab对数据fft分析,MATLAB的FFT分析意义

孩子|逼孩子叫人、表演节目……最有毒的中国式见面礼，是亲妈就别这样做！

男人六十岁以后要疏远哪些关系？

word怎么删除空白页

荣耀pl2021年高性价比千元机推荐

豆皮与腐竹有哪些什么区别？

猫一年能怀几次孕

体育游戏100例体育游戏有哪些

黄冰糖怎么分辨是没有染色的

喜之郎果冻太空人广告喜之郎果冻广告

人生感悟个性签名经典句子有什么？

桃源深处有人家下一句桃源深处有人家育种配方有什么

最终幻想起源全人物介绍最终幻想起源全角色图鉴分享杰克