【Hive中order by，sort by，distribute by，cluster by的区别】 1、order by
(1)：order by后面可以有多列进行排序，默认按字典排序。
(2)：order by为全局排序。
(3)：order by需要reduce操作，且只有一个reduce，无法配置(因为多个reduce无法完成全局排序)。
order by操作会受到如下属性的制约：
[java] view plain copy
set hive.mapred.mode=nonstrict;
(default value / 默认值)
set hive.mapred.mode=strict;
注：如果在strict模式下使用order by语句，那么必须要在语句中加上limit关键字，因为执行order by的时候只能启动单个reduce，如果排序的结果集过大，那么执行时间会非常漫长。
2、sort by
(1) sort by 为reduce内排序。只保证每个reducer的输出有序，不保证全局有序。
(2) sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响
3、distribute by
按照指定的key分发数据，并保证key相同的会被划分到同一个reduce。
如：insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);
此方法会根据name的长度划分到不同的reduce中，最终输出到不同的文件中。
4、cluster by
cluster bykey = distribute by key sort by key desc，是一个简写。cluster by只能降序排序。
推荐阅读
- 大数据|大数据开发技术hive篇
- Hive 函数使用（一）（datediff,row_number,partition）
- SCD|一种基于SparkSQL的Hive数据仓库拉链表缓慢变化维（SCD2+SCD1）的示例实现
- Hive ORC和Parquet
- HiveQL执行过程
- hive-LanguageManual
- 关于Hive数据查询的18种方
- 大数据Hive系列之Hive API
- hive|使用Hive-JDBC遇到的一些问题解决