锐客网

  1. 首页 > 睿知 > it技术 > >

mysql怎么同步表数据的简单介绍( 四 )

IT技术数据库


,@dbname=db_name()--执行数据处理的数据库名
execmsdb..sp_add_jobstep@job_name='数据处理',
@step_name='数据同步',
@subsystem='TSQL',
@database_name=@dbname,
@command=@sql,
@retry_attempts=5,--重试次数
@retry_interval=5--重试间隔
--创建调度
EXECmsdb..sp_add_jobschedule@job_name='数据处理',
@name='时间安排',
@freq_type=4,--每天
@freq_interval=1,--每天执行一次
@active_start_time=00000--0点执行
go
如何在 MySQL 数据库之间同步数据表这一需求在不同机器上的，
1,通过replication (master-slaves)实现了这两张表的复制功能 ， 
2,mysql的版本是5.1.54，基于记录的复制(Row-Based Replication) 。
3,但是在备库调用存储过程时出了问题 ， 这个存储过程中使用了UUID_short()函数，在存储过程这个函数不能产生新值 。
mysql同步数据到hive---binlog方式mysql同步数据到hive大部分公司目前都是走mysql怎么同步表数据的jdbcmysql怎么同步表数据的方式 。
这种方式有两个好处：
也有不好的地方：
这一步最主要的细节是将mysql库的所有binlog数据全部打入一个kafka topicmysql怎么同步表数据，格式使用json 。格式如下：
这一步的主要的细节在于写入到hdfs的结构mysql怎么同步表数据，以及为什么不直接写入hive 。
不写入到hive表的原因在于，binlog的数据结构是不固定的，而hive的结构相对是比较固定的 。如果要写入到hive的话，就需要将不同的表的binlog写入到不同的hive表中 ， 这个维护成本太高了 。而且spark其实可以直接读取hdfs的json文件，因此直接放hdfs就好了 。
写入到hdfs的话，考虑到后续读这个数据是要按照表去读增量数据 ， 所以写入的目录一定是要带日期和表名称的 。mysql怎么同步表数据我这边用的目录结构是这样的：
也就是说要在flink根据数据所属的db、table_name、和日期将数据写入到不同的目录里 。
在这一步的处理的过程中遇到了一些比较重要的参数问题 。
2.如上所述checkpoint的时间间隔 。不仅仅会影响checkpoint的频率，而且会影响hdfs文件的大?。?而hdfs文件的大小可能会对hdfs的性能有很大影响 。这个值如果太大，就会造成数据延迟太高，如果太小就会造成小文件过多 。我这边设置的是5分钟 。
细心的看官，这个时候会问了，既然你的目录是分table的，那么每个table每5分钟的binlog数据量是不一样的 。对于某些大的mysql表，我们可能每5分钟生成一个文件还能接受 。对于一些比较小的表，每五分钟生成一个文件那么文件就会非常小 。所以我这边又做了一层的筛?。?我把mysql的大的表筛选出来 ， 只同步大的表到hdfs，用以binlog的数据同步 。因为本身binlog的方式同步mysql数据为的就是节约mysql的读取压力，而小的表对于不会有太大压力，这些表可以直接通过jdbc的方式去同步 。
这个是整个环节里面最复杂的一部分，涉及的细节也比较多 。
首先，我们要明确一下总体的思路是什么 。总体的思路就是要读取hdfs上的老的历史数据 ， 然后和新的binlog数据合并生成新的快照 。
其实这中间还涉及到一些其他的细节 ， 比如mysql表结构变更，或者mysql和hive的数据结构不一致的情况 。
另外我们这边还存在多个db的相同的表导入到hive的一张表中的其他问题，我就不赘述了 。
如何对MySQL数据库中的数据实时同步？具体操作：
1、在分析型数据库上创建目标表 ， 数据更新类型为实时写入，字段名称和MySQL中的建议均相同；

推荐阅读


上一篇：go语言的https协议的简单介绍

下一篇：无锡gis压死员工的简单介绍