听到谓词下推这个词，是不是觉得很高大上，找点资料看了半天才能搞懂概念和思想，借这个机会好好学习一下吧。
引用范欣欣大佬的博客中写道，以前经常满大街听到谓词下推，然而对谓词下推却总感觉懵懵懂懂，并不明白的很真切。这里拿出来和大家交流交流。个人认为谓词下推有两个层面的理解：

• 其一是逻辑执行计划优化层面的说法，比如SQL语句：select * from order ,item where item.id = order.item_id and item.category = ‘book’，正常情况语法解析之后应该是先执行Join操作，再执行Filter操作。通过谓词下推，可以将Filter操作下推到Join操作之前执行。即将where item.category = ‘book’下推到 item.id = order.item_id之前先行执行。
  
• 【大数据SQL中的Join谓词下推，真的那么难懂（）】其二是真正实现层面的说法，谓词下推是将过滤条件从计算进程下推到存储进程先行执行，注意这里有两种类型进程：计算进程以及存储进程。计算与存储分离思想，这在大数据领域相当常见，比如最常见的计算进程有SparkSQL、Hive、impala等，负责SQL解析优化、数据计算聚合等，存储进程有HDFS（DataNode）、Kudu、HBase，负责数据存储。正常情况下应该是将所有数据从存储进程加载到计算进程，再进行过滤计算。谓词下推是说将一些过滤条件下推到存储进程，直接让存储进程将数据过滤掉。这样的好处显而易见，过滤的越早，数据量越少，序列化开销、网络开销、计算开销这一系列都会减少，性能自然会提高。
  

谓词下推 Predicate Pushdown（PPD）：简而言之，就是在不影响结果的情况下，尽量将过滤条件提前执行。谓词下推后，过滤条件在map端执行，减少了map端的输出，降低了数据在集群上传输的量，节约了集群的资源，也提升了任务的性能。
PPD 配置
PPD控制参数：hive.optimize.ppd，默认值：true
PPD规则：

	Preserved Row tables	Null Supplying tables
Join Predicate	Case J1: Not Pushed	Case J2: Pushed
Where Predicate	Case W1: Pushed	Case W2: Not Pushed

Push：谓词下推，可以理解为被优化
Not Push：谓词没有下推，可以理解为没有被优化
实验 实验结果列表形式：

Pushed or Not	SQL
Pushed	select ename,dept_name from E join D on ( E.dept_id = D.dept_id and E.eid='HZ001');
Pushed	select ename,dept_name from E join D on E.dept_id = D.dept_id where E.eid='HZ001';
Pushed	select ename,dept_name from E join D on ( E.dept_id = D.dept_id and D.dept_id='D001');
Pushed	select ename,dept_name from E join D on E.dept_id = D.dept_id where D.dept_id='D001';
Not Pushed	select ename,dept_name from E left outer join D on ( E.dept_id = D.dept_id and E.eid='HZ001');
Pushed	select ename,dept_name from E left outer join D on E.dept_id = D.dept_id where E.eid='HZ001';
Pushed	select ename,dept_name from E left outer join D on ( E.dept_id = D.dept_id and D.dept_id='D001');
Not Pushed	select ename,dept_name from E left outer join D on E.dept_id = D.dept_id where D.dept_id='D001';
Pushed	select ename,dept_name from E right outer join D on ( E.dept_id = D.dept_id and E.eid='HZ001');
Not Pushed	select ename,dept_name from E right outer join D on E.dept_id = D.dept_id where E.eid='HZ001';
Not Pushed	select ename,dept_name from E right outer join D on ( E.dept_id = D.dept_id and D.dept_id='D001');
Pushed	select ename,dept_name from E right outer join D on E.dept_id = D.dept_id where D.dept_id='D001';
Not Pushed	select ename,dept_name from E full outer join D on ( E.dept_id = D.dept_id and E.eid='HZ001');
Not Pushed	select ename,dept_name from E full outer join D on E.dept_id = D.dept_id where E.eid='HZ001';
Not Pushed	select ename,dept_name from E full outer join D on ( E.dept_id = D.dept_id and D.dept_id='D001');
Not Pushed	select ename,dept_name from E full outer join D on E.dept_id = D.dept_id where D.dept_id='D001';

实验结果表格形式：

文章图片

此表实际上就是上述PPD规则表。
结论 1、对于Join(Inner Join)、Full outer Join，条件写在on后面，还是where后面，性能上面没有区别；
2、对于Left outer Join ，右侧的表写在on后面、左侧的表写在where后面，性能上有提高；
3、对于Right outer Join，左侧的表写在on后面、右侧的表写在where后面，性能上有提高；
4、当条件分散在两个表时，谓词下推可按上述结论2和3自由组合，情况如下：

SQL	过滤时机
select ename,dept_name from E left outer join D on ( E.dept_id = D.dept_id and E.eid='HZ001' and D.dept_id = 'D001');	dept_id在map端过滤，eid在reduce端过滤
select ename,dept_name from E left outer join D on ( E.dept_id = D.dept_id and D.dept_id = 'D001') where E.eid='HZ001';	dept_id，eid都在map端过滤
select ename,dept_name from E left outer join D on ( E.dept_id = D.dept_id and E.eid='HZ001') where D.dept_id = 'D001';	dept_id，eid都在reduce端过滤
select ename,dept_name from E left outer join D on ( E.dept_id = D.dept_id ) where E.eid='HZ001' and D.dept_id = 'D001';	dept_id在reduce端过滤，eid在map端过滤

注意：如果在表达式中含有不确定函数，整个表达式的谓词将不会被pushed，例如

select a.* from a join b on a.id = b.id where a.ds = '2019-10-09' and a.create_time = unix_timestamp();

因为unix_timestamp是不确定函数，在编译的时候无法得知，所以，整个表达式不会被pushed，即ds='2019-10-09'也不会被提前过滤。类似的不确定函数还有rand()等。
参考文献：
[1] https://cwiki.apache.org/confluence/display/Hive/OuterJoinBehavior
引用：https://blog.csdn.net/strongyoung88/article/details/81156271
猜你喜欢

Hive计算最大连续登陆天数

Hadoop 数据迁移用法详解

Hbase修复工具Hbck

数仓建模分层理论

一文搞懂Hive的数据存储与压缩

大数据组件重点学习这几个

推荐阅读

• 

  早孕试条第二条好淡，请问我是怀孕吗？
• 

  夏天洗冷水澡会影响月经吗
• 

  四十岁了,儿子才上幼儿园,到儿子上初中还好意思去开家长会吗？
• 

  91看片安卓版下载,91手机助手iphone版下载说明
• 

  十七八岁的男孩子叛逆期怎么办
• 

  苹果手机扫二维码的具体操作方法
• 

  小眼睛的妹子适合怎么样的眉毛？
• 

  载波聚合是什么意思 载波聚合具体是什么意思
• 

  起床后喝盐水有什么好处吗 起床后喝盐水有什么好处
• 

  开空调为什么没蚊子 开空调是不是没蚊子
• 

  支付宝怎么开启声音锁？声音锁开启方法分享
• 

  2023年交普通标准养老保险，15年后等退休时一个月能拿多少？
• 

  威能壁挂炉热水温度调节方法详解，常见故障及解决方法
• 

  何为男人气虚 4个症状大公布
• 

  Linux中dump和restore命令详解
• 

  甘草能和茶叶一起泡水喝吗
• 

  博世锅炉烧不烧暖气怎么办，博世锅炉f7故障,该如何添加
• 

  男运动棉袜子直播卖货话术，直播卖袜子怎么介绍
• 

  犯暴力危及飞行安全该怎样量刑
• 

  戒指的佩戴方法 戒指的佩戴方法和含义女生男生

• 我要做大厨
• Docker应用:容器间通信与Mariadb数据库主从复制
• 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量
• 知识
• 三十年后的广场舞大爷
• 奔向你的城市
• 村里的故事|村里的故事 --赵大头
• 期刊|期刊 | 国内核心期刊之（北大核心）
• 华为旁！大社区、地铁新盘，佳兆业城市广场五期！
• 汇讲-勇于突破