mysql同步数据到hive---binlog方式想问下原来数据库中的数据会不会有更新和删除，如果有的话，想实时同步到hive中很难 。另外即使能实时同步到hive中 ， hive中分析查询也速度也比较慢的 。
MySQL replication是通过将主机上的binlog（二进制日志）事件传输到从机来进行数据同步的 。在MySQL复制中，主机上的写操作将被记录到binlog中 。
实现两个Mysql数据库之间同步同步原理：MySQL为了实现replication必须打开bin-log项，也是打开二进制的MySQL日志记录选项 。
主从同步主要是以binlog日志作为文件同步机制，具体如下 主从同步使得数据可以从一个数据库服务器复制到其他服务器上，在复制数据时 ， 一个服务器充当主服务器（master） ， 其余的服务器充当从服务器（slave） 。
以下哪些属于集中化大数据平台外部采集数据Flume是目前常用的开源选择，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力 。
大数据采集平台有Flume、Kafka、Logstash、Fluentd、Sqoop等 。Flume Apache Flume是一个分布式、可靠和高可用的系统，用于高效地收集、聚合和移动大量日志数据 。Flume支持多种数据源，包括Avro、Thrift、JMS、Netcat等 。
传统数据源采集：这类数据通常来自企业内部的数据库、日志、文件、表格等 ， 以及外部的传统数据源，比如公共数据库、政府报告、统计数据等 。这些数据通常是结构化数据 ， 易于存储和处理 。
日志收集：日志系统中定制各类数据发送方，用于收集数据 。
大数据分析的数据来源有很多种，包括公司或者机构的内部来源和外部来源 。分为以下几类：1）交易数据 。
pyflink消费kafka-connect-jdbc消息(带schema)【flink中使用线程池 flink中使用mysql】1、Apache Kafka：高吞吐量分布式消息系统 。官网 Hermes：快速、可靠的消息代理（Broker） ， 基于Kafka构建 。官网 JBoss HornetQ：清晰、准确、模块化，可以方便嵌入的消息工具 。官网 JeroMQ：ZeroMQ的纯Java实现 。官网 Smack：跨平台XMPP客户端函数库 。
