锐客网

  1. 首页 > it技术 > >

Hive中order by，sort by，distribute by，cluster by的区别

Hive

【Hive中order by，sort by，distribute by，cluster by的区别】 1、order by
(1)：order by后面可以有多列进行排序，默认按字典排序。
(2)：order by为全局排序。
(3)：order by需要reduce操作，且只有一个reduce，无法配置(因为多个reduce无法完成全局排序)。
order by操作会受到如下属性的制约：
[java] view plain copy
set hive.mapred.mode=nonstrict; (default value / 默认值)

set hive.mapred.mode=strict;
注：如果在strict模式下使用order by语句，那么必须要在语句中加上limit关键字，因为执行order by的时候只能启动单个reduce，如果排序的结果集过大，那么执行时间会非常漫长。


2、sort by
(1) sort by 为reduce内排序。只保证每个reducer的输出有序，不保证全局有序。
(2) sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响

3、distribute by

按照指定的key分发数据，并保证key相同的会被划分到同一个reduce。
如：insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);
此方法会根据name的长度划分到不同的reduce中，最终输出到不同的文件中。

4、cluster by
cluster bykey = distribute by key sort by key desc，是一个简写。cluster by只能降序排序。

    推荐阅读


    上一篇：LwIP之ethernet_if.c和底层驱动概览

    下一篇：stm32时钟系统