锐客网

  1. 首页 > 睿知 > >

hive分析结果存放到哪里

经验分享睿知

hive优化除了hql语句的逻辑优化和hql参数的调优 ， 还有一个不显眼的容易被忽略的细节，那就是hive数据仓库模型表的存储格式和压缩方式，以及hive底层数据在集群中存储为基于hadoop的HDFS文件 。本文就来说说这个知识点 ， hive有四种存储格式:文本、orc和拼花，其中很少使用sequencefile ， 常见的有orc和parquet，常与压缩方式合理使用 。
【hive分析结果存放到哪里】
1、 hive之核心知识点 hive的语法大部分与sql相同 。我们把它们一个一个写出来:1 。简单介绍一下存储原理:hive与hdfs交互 ， 与本地linux交互，可分为本地文件和hdfs文件 。要说区别，底层都在磁盘上，要说区别 。Hdfs分布式文件管理系统有其独特的文件存储结构，即可以与分布式文件交互的独特存储模式 。linux本地文件是用简单的知识来存储存储在linux操作系统中的文件，所以hive的作用就是同时与Linux本地文件和Linux上的hdfs文件进行交互 。我可以把本地文件上传到hive file 。当然hive只是一个在hdfs上处理文件的工具，但是hive也有自己独特的文件存储，表结构信息和创建的表信息，都在hive中 。

2、如何将 hive查询结果导出成txt文件最近在使用hive时，需要将hive查询到的数据导出到本地文件系统 。HQL语法如下:INSERTOVERWRITEHive是HDFS上的sql执行引擎，它将sql语句转换成Hadoop上的mapreduce任务来执行 。因为是写sql，用Hive for data 分析的好处是没有额外的学习成本，但是是批量处理，可能会比较慢 。本文将通过几个案例简要介绍如何使用Hive 。
3、[Hive]格式化输出Hive查询结果到Excel首先，上面步骤1中导出操作的文件名是系统自己定义的，可能会生成多个文件，其中一些文件是空的 。这不是我们需要的，如果你不想这么做，想自己定义输出文件名 ， 那么你可以使用Linux重定向再次解决这个问题 。如果我使用重定向，我自然不能使用HiveSQL的查询来指定分隔符语法 ， 如何自定义分隔符？或者注意 。

    推荐阅读


    上一篇：需求分析师行业,ba需求分析师

    下一篇：c 健康分析系统源码,健康标准数据管理与分析系统