大数据，数据仓库，hive不能使用update更新操作解决方案大数据，数据仓库，hive不能使

在数据仓库建设，处理日常业务需求的过程中，经常会遇到各种各样的问题。在处理更新操作数据时，遇到数据重复问题。前期因为没考虑到关系型数据库update操作，把数据同步到hive时有数据重复问题，在业务日常报表分析时，带来很大困扰。今天就简单来说一下，遇到这样的场景该如何处理。其实只要用到hive的窗口函数即可解决。

业务背景首先，要来谈谈为啥会遇到这个问题。如何不结合业务背景讨论这个问题，那么是毫无意义的。我们公司在建设数仓过程中，使用的是第三方平台，类似阿里云这样的平台。公司购买的第三方产品，省去了底层的开发工作。很多东西，都是已经封装完成的，拿来使用即可。
【大数据，数据仓库，hive不能使用update更新操作解决方案】数据仓库建设，使用传统关系型数据库进行数据存储，显然是不现实的。我们需要把关系型数据库，如mysql，oracle等库里的数据同步到分布式文件系统(HDFS)上，我们公司使用的是hive这种非关系型数据库。注意：hive的元数据管理使用的是mysql数据库，但是业务数据都是存储在HDFS上的。
从关系型数据库同步数据的时候，第一次选择全量同步。因为数据量非常大，单个表的数据就几百G不等。但是后续继续使用全量同步显然是不显示的，只能考虑使用增量同步，来同步增量数据，使用修改时间这个字段进行判断数据是否为新增数据。
在日常生产中，使用关系型数据库，大家知道有update更新操作。比如某个用户的状态改变以后，只需要在数据库中更改这条已经存在的记录即可。
但是这种更新我们需要实时的同步到hive中，可是hive并没有update的更新操作。把关系型数据库中更新的数据同步到hive中，就会存在数据重复的问题。(因为以前可能已经同步过这条数据)。那么怎么解决这个问题呢？

文章图片
曲线救国，选择出最新的记录 hive没有update的更新操作。但是我们可以通过hive的序列函数和窗口函数来解决这个问题，非常简单。使用row_number函数即可。
hive的row_number函数
row_number函数：会对所有数值，输出不同的序号，序号唯一且连续，如：1、2、3、4、5、6、7。利用row_number函数的这种特性选择出其中一条我们需要的记录即可。
造一些简单的数据进行验证

idupdatestatepasswordusername 0012020-08-03 15:33:24 1123456用户1 0022020-08-03 12:31:21 1abcd12用户2 0032020-08-04 09:05:44 1223wer用户3 0012020-08-04 16:01:35 1123abc用户1

在关系型数据库，直接对001这条记录更新，修改对应的密码即可。但是这条更新记录会被同步记录到hive中，这样就存在两条记录。显然我们要的是最新时间的记录。使用row_number选择出最新的记录。
使用下面的函数即可选择出最新的一条记录

SELECT id , update , state , password , username FROM ( SELECT id , update , state , password , username , row_muber over (partition by id order by update desc) num FROM table ) t wheret.num = 1 #其中，子查询生成的中间临时结果是这样的，结果如下： idupdatestatepasswordusernamenum 0012020-08-04 16:01:35 1123abc用户1 1 0012020-08-03 15:33:24 1123456用户1 2 0022020-08-03 12:31:21 1abcd12用户2 1 0032020-08-04 09:05:44 1223wer用户3 1#最后最终生成的结果如下： idupdatestatepasswordusername 0012020-08-04 16:01:35 1123abc用户1 0022020-08-03 12:31:21 1abcd12用户2 0032020-08-04 09:05:44 1223wer用户3

通过上面的方法即可选择出最新的一条记录。在hive中，窗口函数是经常使用的一种函数，用好了窗口函数，平时开发写sql中会带来很多方便。
小问题？如果一个查询语句，有两个row_number()，而且两个分组一样，但排序不一样，那么查询出来的数据会跟着哪个走呢？
比如下面的查询语句，最后的结果是按照id还是aga进行排行返回呢？

select sex, name, id, age, row_number() over(partition by sex order by id desc) as id, row_number() over(partition by sexorder by age desc) as age from student;

答案：最后的结果是根据age来进行排行的，也就是根据最外围的row_number() 进行排行，有兴趣的可以自己验证一下。