本文目录一览：
- 1、mysql同步数据到hive---binlog方式
- 2、sqoop:导出MySQL数据至Hive时,Null值处理
- 3、如何上传mysql的依赖jar包到hive的lib目录下?
- 4、用kettle将mysql数据导入到hive中为什么执行效率很低
- 5、大数据怎样把数据从mysql导入hive中
实现两个Mysql数据库之间同步同步原理：MySQL为了实现replication必须打开bin-log项 ， 也是打开二进制的MySQL日志记录选项 。
MySQL replication是通过将主机上的binlog（二进制日志）事件传输到从机来进行数据同步的 。在MySQL复制中，主机上的写操作将被记录到binlog中 。
Binlog主要用于记录MySQL数据库的变更操作 ， 用于数据备份、还原、复制等操作 。MySQL启动时 ， 会根据配置文件加载数据库实例，并从磁盘上的数据库文件中读取数据，将其加载到内存中 ， 以供后续的查询和操作使用 。
sqoop:导出MySQL数据至Hive时,Null值处理1、导出数据到MySQL，当然数据库表要先存在，否则会报错，此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的 。因此需要在执行的时候给sqoop增加参数，告诉sqoop文件的分隔符，使它能够正确的解析文件字段 。
2、场景 使用sqoop从MySQL导出数据至Hive时，如果数据中包含hive指定的列分隔符，如\001 或\t，那么在Hive中就会导致数据错位；如果数据中包含换行符\n，那么就会导致原先的一行数据 ， 在Hive中变成了两行 。
3、sqoop导入mysql中表不需要手动创建 。连接到hive的默认数据库后会自动创建的 。
如何上传mysql的依赖jar包到hive的lib目录下?【mysql迁移数据到oracle mysql迁移数据到hive】首先打开电脑中的eclipse工具，进入操作页面后 ， 再点击工具的file选项 。接着创建java项目，然后使用鼠标右键点击打开项目文件 。然后在弹出的页面中，找到并打开build path选项 。
MYSQL提供一个JDBC连接器，是第三方类库，把它下载下来，把解压后的.JAR文件（ 的是MYSQL-CONNECTOR-JAVA-0.4-BIN.JAR）地址添加到CLASSPATH环境变量中 ， 就行了 。
表输入控件中需要把mysql驱动包拷贝到tomcat根目录common\lib文件夹下 。根据查询相关公开信息：文件通常可以在mysqlServer的lib里面文件夹，非集成Tomcat，必须把驱动程序包复制粘贴在Tomcat根目录common\lib文件夹下就可以了 。
在新创建的项目中右键单击New Floder 。我们选择鼠标单击创建一个名为lib的包 。之后会显示创建完成后的项目目录的页面 。接下来解压缩下载的mysql jar包并复制.jar文件 。
用kettle将mysql数据导入到hive中为什么执行效率很低数据库机制不一样，整个库导入是不可能的 。如果数据不多，你用 plsql developper 的tool-export tables 选择sql insert导出数据好了 。这将生成一般的sql insert 语句 。
由于 Hive 主要用来处理非常大的数据，运行过程由于通常要经过 MapReduce 的过程，因此不像 MySQL 一样很快出结果 。
这一步的主要的细节在于写入到hdfs的结构 ， 以及为什么不直接写入hive 。不写入到hive表的原因在于，binlog的数据结构是不固定的 ， 而hive的结构相对是比较固定的 。
大数据怎样把数据从mysql导入hive中1、这一步最主要的细节是将mysql库的所有binlog数据全部打入一个kafka topic，格式使用json 。格式如下：这一步的主要的细节在于写入到hdfs的结构，以及为什么不直接写入hive 。
2、如果hdfs中是格式化数据的话，可以使用sqoop命令工具来将数据导入到mysql 具体使用方式，你可以网上查找一下 ， 资料蛮丰富的 。
3、想问下原来数据库中的数据会不会有更新和删除，如果有的话，想实时同步到hive中很难 。另外即使能实时同步到hive中，hive中分析查询也速度也比较慢的 。
4、sqoop导入mysql中表不需要手动创建 。连接到hive的默认数据库后会自动创建的 。
5、Put API Put API可能是将数据快速导入HBase表的最直接的方法 。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强 。
