Hive 3.1.1环境搭建与Spark集成环境

一:解压 tar -zxvf /opt/soft/apache-hive-3.1.1-bin.tar.gz -C /opt/client/
二:在HDFS上创建tmp和hive仓库目录(存在就不需要创建)

hdfs dfs -mkdir /tmphdfs dfs -mkdir -p /user/hive/warehouse

在Hive安装目录下的 conf目录下执行

cp hive-default.xml.template hive-site.xmlcp hive-log4j2.properties.template hive-log4j2.propertiescp hive-env.sh.template hive-env.sh

三:配置hive-env.sh

export HADOOP_HOME=/opt/modules/hadoop-3.1.2 export HIVE_CONF_DIR=/opt/modules/hive-3.1.1/conf export HIVE_AUX_JARS_PATH=/opt/modules/hive-3.1.1/lib

四:配置hive-site.xml

javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionPassword 123456 javax.jdo.option.ConnectionURL jdbc:mysql://lx:3306/hive?useSSL=false hive.metastore.schema.verification false datanucleus.schema.autoCreateAll true hive.cli.print.current.db true hive.cli.print.header true

五:配置hive-log4j2.properties property.hive.log.dir = /opt/modules/hive-3.1.1/logs#指定自己创建的日志目录
六:初始化元数据 (在Hive安装目录执行)

#在MySql中创建Hive的元数据库 create database hive; #拷贝mysql连接驱动到lib目录下 cp /opt/soft/mysql-connector-java-5.1.46-bin.jar /opt/client/hive-3.1.1/lib/#在Hive安装目录的bin目录下执行 schematool -dbType mysql -initSchema