Hadoop 技术生态体系 hadoop

广义上的Hadoop是指其整个技术生态体系，包括但不限于以下组件：

文章图片

图3-1-1：Hadoop技术生态体系
【Hadoop 技术生态体系】这里选择几个比较重要的组件简单介绍一下，之后会作详细介绍：
一、HBase：分布式数据库

文章图片

HBase是Hadoop的数据库，HBase是一个分布式的、面向列的开源非关系型数据库，它不同于一般的关系数据库，是一个适合非结构化数据存储的数据库。HBase利用Hadoop的HDFS作为其文件存储系统，利用ZooKeeper作为其协调工具，非常适合用来进行大数据的实时读写。
HBase表是一个稀疏多维表，表中的数据是未经解释的字符串，没有数据类型，每一行都有一个行键，表被分组成许多列族集合，列族支持动态扩展，可以很方便地添加一个列族或列，无须事先预定列的数量和类型，所有列都是以字符串的形式存储。
二、Hive：数据仓库工具
Hive是一个基于Hadoop的强大的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
三、Kafka：分布式发布订阅消息系统
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，Kafka是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
四、ZooKeeper：分布式协调服务
ZooKeeper作为一个高可用的分布式服务框架，主要用来解决分布式集群中应用系统的一致性问题，它可以减轻分布式应用程序所承担的协调任务，大数据培训在Hadoop、HBase、Kafka等分布式系统中，ZooKeeper都是作为核心组件使用的。其典型应用场景有：实现HDFS的NameNode高可用HA；实现HBase的HMaster高可用HA. ZooKeeper的部署节点一般为奇数个。
五、Spark：内存分布式计算框架
Spark是一个可以将输出结果保存在内存中的微批处理分布式快速计算框架，可以批处理和交互式处理，支持多语言（Java, Python, Scala, R等），具有丰富的API. 其优势在于能同时实现离线和实时计算。