hive设置map和reduce数量
如何设置map个数
【hive设置map和reduce数量】在hive中没有办法直接设置map个数，但是可以通过设置一个map处理的最大数据量，来设置map个数
参数如下：
set mapred.max.split.size=256000000;
-- 决定每个map处理的最大的文件大小，单位为B
set mapred.min.split.size.per.node=1;
-- 节点中可以处理的最小的文件大小
set mapred.min.split.size.per.rack=1;
-- 机架中可以处理的最小的文件大小
如何设置reduce个数 reduce个数有两种方式来设置.
- 方法一 直接设置reduce个数,如下：
set mapred.reduce.tasks=10;
-- 设置reduce的数量
- 方法二设置单个reduce处理的数据量大小
set hive.exec.reducers.bytes.per.reducer=1073741824 -- 每个reduce处理的数据量,默认1GB
推荐阅读
- 第6.2章（设置属性）
- Hive常见问题汇总
- 15、IDEA学习系列之其他设置（生成javadoc、缓存和索引的清理等）
- iOS-Swift-map|iOS-Swift-map filter reduce、函数式编程
- performSelectorOnMainThread:withObject:waitUntilDone:参数设置为NO或YES的区别
- Hadoop|Hadoop MapReduce Job提交后的交互日志
- spring|spring boot中设置异步请求默认使用的线程池
- MapStruct
- Python绘制小红花
- day|day 28 设置路由表