锐客网

  1. 首页 > 睿知 > >

ranger hive 源码分析

经验分享睿知

参考:最近发现很多小伙伴提交的sql质量都不是很好 。通过hue平台强行修改hiveserver的各种参数向yarn提交任务 ， 导致集群性能下降，1.本来想通过修改hue的源码来限制set命令，这样可以修改js用于提交任务和页面交互，可能有点麻烦，2.配置了以下hivesite . XML forhiveserver 2:hive. conf . restricted . listhive. exec . parallel 。

hive. exec . dynamic . partition . mode，hive.mapred.mode全面总结了hive限制条件 。Restricted/hidden/internal list和white list(restricted/hidden/internal stand whitelist)hive. conf . restricted . list(attribute restricted list)该CI的值是一些配置属性的逗号分隔列表，添加到列表中的配置属性在运行时不能更改 。

1、 hive执行selectcount(*首先下面的情况有上面的结果hive table partition，数据正好在hive partition目录下 ， 然后执行下面的语句 。下面是四个操作:hdfs文件映射和hive表映射 。执行selectcount()和select*文件权限rwxselectcount()导致非零select*正常显示数据执行selectcount()和select*文件权限rwselectcount()导致零select *正常显示数据执行selectcount()和select * 。文件权限rwxselectcount()产生非零select*正常显示数据，select *文件权限rwselectcount()产生非零select *正常显示数据 。基于以上四种情况，在创建分区表时，有些人会直接把数据放在对应的分区文件夹下，然后alteraddpartition通过加载数据执行selectcount (*)返回0 。

2、我想学习 hive,请问安装 hive之前,必须安装centos、hadoop、java这些吗...如果想运行，可以装个VirtualBox之类的虚拟机 。安装需要java1.6、java1.7或更高版本 。Hadoop2.x或更高版本 ， 版本1.x.Hive0.13还支持0.20.x、0.23.xLinux、mac、windows MAC和windows操作系统 。以下内容适用于linux系统 。要安装打包的hive，首先需要从apache下载打包的hive image 。然后解压文件$ tar xzvfhivex.y.z.tar.gz设置hive环境变量$ CDhivex . y . z $ export hive _ home { { pwd } }设置 。Bin:$PATH编译Hive源码Downloadhive源码maven在这里编译，需要下载安装maven 。

3、 hivejoin数据错误我们生产使用的是版本hive3.1.2，hadoop也是版本3，用户使用hive发现了join数据错误 。分析SQL发现当超过3个表(含3个表)时，来自hivejoin的数据是错误的 。后来我通过测试发现，无论是leftjoin、innerjoin还是rightjoin，数据都会出错 。通过后来的其他测试，发现和中使用的两个表作为条件查询存在 ， 得到的数据也是错误的 。

4、ApacheRanger安装配置以及和LDAP集成ApacheRanger是目前Apache旗下的顶级项目，旨在通过制定策略实现Hadoop组件的集中安全管理 。用户可以通过Ranager安全地访问集群中的数据 。Ranger由三个模块组成:Ranger用来获取用户和组的模块称为Usergroupsync，可以配置获取Unix、LDAP或AD的用户和组 。

5、Hiveserver2阻塞原因排查修改表位置与默认hdfs机器不一致，导致hiveserver2阻塞 。使用jstack可以找到以下信息 。日志输出线程是328，但是后续的查询执行会导致日志线程是209，但是不会输出sql 。发现其处于等待状态，堆栈信息正在执行tryAcquireCompileLock方法 。见-0 。
6、[Hive]-Beeline偶发UnabletoreadHiveServer2urifromZooKeeper...【ranger hive 源码分析】用户有大量并发beeline hivesql任务，偶尔无法读取Live Server 2 Urifromcookeeper报告错误 。hive Version: hdp1.2.1修改了beelineconnecturl并添加了重试次数，beelineurl修改前:beelineurl修改后:通过读取源码 ， hiveserver2，连接步骤大致如下:1)获取连接url 。如果是serviceDiscoveryModezooKeeper，动态获取真实的连接信息和配置2)通过ZK获取hiveserver2的所有节点，对应的路径是/hiveserver2/ 。

    推荐阅读


    上一篇：基于游戏虚拟货币市场的数据分析

    下一篇：方案的操作性分析模板,小学学情分析方案模板语文