数据挖掘|【大数据实验】03（HBase伪分布式部署） hbase|hadoop

HBase伪分布式部署
OVERVIEW

HBase伪分布式部署
- - 实验环境
  - 1.HBase单机模式安装配置
  - 2.HBase伪分布式安装部署
  - 3.HBase Shell操作
  - 4.HBase Web UI管理
  - - （1）Master节点的Web管理
    - （2）RegionServer节点的Web管理

实验环境

硬件：ubuntu 16.04
软件：JDK-1.8、Hbase1.4、Hadoop-2.7、zookeeper3.4、idea-IC-191.7479.19
数据存放路径：~/dataset
tar包路径：~/software
tar包压缩路径：~/bigdata
软件安装路径:/opt
实验设计创建文件：~/resource

Hbase是一个分布式的、面向列的开源数据库，基于Hadoop的分布式数据库，所以安装得确保Hadoop安装完成。
1.HBase单机模式安装配置

# 1.解压tar包 cd ~/software tar -zxvf hbase-2.2.2-bin.tar.gz -C ~/bigdata mv hbase-2.2.2/ hbase/ # 2.修改配置文件hbase-env.sh执行命令(进入到hbase的conf目录下) cd ~/bigdata/hbase/conf vim hbase-env.sh export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 # 3.修改配置文件hbase-site.xml执行命令 vim hbase-site.xml hbase.rootdir file://~/bigdata/hbase # 4.单节点模式启动hbase cd ~/bigdata/hbase/bin ./start-hbase.sh jps #查看hbase进程 ./stop-hbase.sh #停止hbase

文章图片

存在非致命问题：Class path contains multiple SLF4J bindings.

2.HBase伪分布式安装部署
Hbase伪分布式环境的数据需要存储在HDFS之上，所以配置Hbase伪分布式环境之前需要有Hadoop环境。
上个实验已经完成了安装配置Hadoop完全分布式环境（伪分布式替代）：

# 1.启动hadoop服务，执行命令 ./start-dfs.sh jps # 2.修改hbase-env.sh文件,进入到hbase的conf目录下 cd ~/bigdata/hbase/conf vim hbase-env.sh # 添加如下配置信息 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export HBASE_MANAGES_ZK=true # 3.配置环境变量profile vim etc/profile export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export HADOOP_HOME=/root/bigdata/hadoop export HBASE_HOME=/root/bigdata/hbase export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/binexport HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root # 4.修改hbase-site.xml文件 vim hbase-site.xml hbase.rootdir hdfs://192.168.172.129:9000/hbase hbase.cluster.distributed true hbase.unsafe.stream.capability.enforce false # 5.启动Hbase cd ~/bigdta/hbase-2.2.2/bin/ ./start-hbase.sh jps #查看新启动的进程 # 6.hbase部署验证:进入hbase shell,执行命令 ./hbase shell list #查看所有表 exit #退出hbase shell # 在浏览器网址栏中输入“localhost:16010”进行查看查看hbase的web页 ./stop-hbase.sh #停止hbase服务

文章图片

3.HBase Shell操作
实验原理：
HBase的命令行工具适合HBase管理使用，可以使用shell命令来查询HBase中数据的详细情况。
安装完HBase之后，启动hadoop集群(利用hdfs存储)，启动zookeeper，使用start-hbase.sh命令开启hbase服务。
最后在shell中执行hbase shell就可以进入命令行界面，对Hbase的数据查询和创建操作。

# 1.启动hadoop和Hbase(这里使用的zookeeper为HBase内置) cd ~/bigdata/hadoop/sbin ./start-all.sh cd ~/bigdata/hbase/bin ./start-hbase.sh jps #查看进程确保QuorumPeerMain、HMaster、HRegionServer均已启动 # 2.HBase Shell Gerneral 命令 ./hbase shell #进入hbase的命令行模式 status #查询当前服务器状态 version #查看当前版本 whoami #查询当前hbase用户 # 3.HBase Shell 常用操作 help #查看帮助 help'create' #查看create的帮助命令 create 'test', 'cf' #创建“test”表，并指定列族“cf”(使用create创建新表时，必须指定表名和列族) list 'test' #查询创建的表 describe 'test' #查询表的详细信息 put 'test', 'row1', 'cf:a', 'value1' #插入数据 scan 'test' #扫描所有数据信息 exit #退出Hbase shell ./stop-hbase.sh #停止Hbase服务 jps #查看是否关闭

文章图片

文章图片

4.HBase Web UI管理
实验原理：
Hbase提供了简单的基于Web的可视化管理手段，通过浏览器可以查看Hbase的集群状态、配置信息、日志信息、表和数据信息等。
Hbase中涉及两个重要节点：

Master节点用于Hbase集群调度和管理
RegionServer节点用于具体数据处理。

（1）Master节点的Web管理

# 1.启动hadoop和Hbase(这里使用的zookeeper为HBase内置) cd ~/bigdata/hadoop/sbin ./start-all.sh cd ~/bigdata/hbase/bin ./start-hbase.sh jps #查看进程确保QuorumPeerMain、HMaster、HRegionServer均已启动 # 2.在浏览器中输入localhost:16010,查看Master节点的运行状态、Hbase整个集群运行服务信息 # 3.进入HBase的命令行模式,创建表stu ./hbase shell create 'stu', {NAME => 'info'} # 4.导入数据 put 'stu','20191216_01','info:name','leo' # 5.刷新网页可以看到变化后正在使用的表,可以看到刚刚创建的表和其信息 scan 'stu'

在浏览器中输入localhost:16010,查看Master节点的运行状态：