Hadoop 伪分布式集群安装

将相本无种，男儿当自强。这篇文章主要讲述Hadoop 伪分布式集群安装相关的知识，希望能为你提供帮助。
一、安装前准备工作1、关闭 Selinux 、防火墙

[root@test127 ~]# setenforce 0 [root@test127 ~]# sed -i s/enforcing/disabled/ /etc/selinux/config[root@test127 ~]# systemctl stop firewalld & & systemctl disable firewalld

2、配置 Hosts 文件

[root@test127 ~]#echo "test12710.6.2.127 "> > /etc/hosts [root@test127 ~]# cat /etc/hosts 127.0.0.1localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1localhost localhost.localdomain localhost6 localhost6.localdomain6test12710.6.2.127

3、配置时间同步

[root@test127 ~]# yum -y install ntp[root@test127 ~]# \\cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime [root@test127 ~]# ntpdate ntp.aliyun.com [root@test127 ~]# systemctl start ntpdate & & systemctl enable ntpdate

二、安装 JDK 相关

1、安装 JDK 包 [root@test127 ~]# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/ [root@test127 ~]# cd /usr/local/jdk1.8.0_131/bin [root@test127 ~]# ./java -version ava version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)2、配置 JAVA 环境变量 [root@test127 ~]# cp /etc/profile /etc/profile.bak [root@test127 ~]# vim /etc/profile# 文本末尾追加下面两行 export JAVA_HOME=/usr/local/jdk1.8.0_131 export PATH=.:$PATH:$JAVA_HOME/bin[root@test127 ~]# source /etc/profile [root@test127 ~]# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

三、配置 SSH 免密登录

[root@test127 ~]# ssh-keygen -t rsa -P-f ~/.ssh/id_rsa [root@test127 ~]# ssh-copy-id 10.6.2.127[root@test127 ~]# ssh 10.6.2.127#此操作必须执行 [root@test127 ~]# exit

四、 Hadoop 安装1、安装

[root@test127 ~]# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local [root@test127 ~]# cd /usr/local [root@test127 local]#mv hadoop-2.7.6 hadoop

2、修改相关配置文件

1、备份下要修改的配置文件[root@test127 ~]# cd /usr/local/hadoop/etc/hadoop[root@test127 hadoop]# cp hadoop-env.sh hadoop-env.sh.bak [root@test127 hadoop]# cp yarn-env.sh yarn-env.sh.bak [root@test127 hadoop]# cp core-site.xml core-site.xml.bak [root@test127 hadoop]# cp hdfs-site.xml hdfs-site.xml.bak [root@test127 hadoop]# cp yarn-site.xml yarn-site.xml.bak [root@test127 hadoop]# cp mapred-site.xml.template mapred-site.xml2、更改配置文件[root@test127 hadoop]# vim hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_131#修改对应的行[root@test127 hadoop]# vim yarn-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_131#增加这一行到最先出现 export 所在行的下面[root@test127 hadoop]# vim core-site.xml < configuration> < property> < name> fs.defaultFS< /name> < value> hdfs://test127:9000< /value> < /property> < property> < name> hadoop.tmp.dir< /name> < value> /data/hadoop/tmpdata< /value> < /property> < /configuration> [root@test127 hadoop]# vim hdfs-site.xml < configuration> < property> < name> dfs.replication< /name> < value> 1< /value> < /property> < property> < name> dfs.namenode.name.dir< /name> < value> /data/hadoop/data/namenode< /value> < /property> < property> < name> dfs.datanode.data.dir< /name> < value> /data/hadoop/data/datanode< /value> < /property> < /configuration> [root@test127 hadoop]# vim yarn-site.xml < configuration> < property> < name> yarn.nodemanager.aux-services< /name> < value> mapreduce_shuffle< /value> < /property> < property> < name> yarn.resourcemanager.hostname< /name> < value> test127< /value> < /property> < /configuration> [root@test127 hadoop]# vim mapred-site.xml < configuration> < property> < name> mapreduce.framework.name< /name> < value> yarn< /value> < /property> < /configuration> [root@test127 hadoop]# vim slaves test127

3、创建相关目录

[root@test127 ~]# mkdir -pv /data/hadoop/tmpdata,data [root@test127 ~]# mkdir -pv /data/hadoop/data/namenode,datanode

4、配置环境变量

[root@test127 ~]# cp /etc/profile /etc/profile.bak [root@test127 ~]# vim /etc/profile# 文本末尾追加下面两行 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin[root@test127 ~]# source /etc/profile

五、格式化并启动集群 1、格式化、启动集群

[root@test127 ~]# hadoop namenode -format [root@test127 ~]# start-all.sh#也可以使用start-dfs.sh 、start-yarn.sh 两个命令分别启动 HDFS 、YARN 两个集群

2、验证启动情况

[root@test127 ~]# jps 15264 Jps 14726 SecondaryNameNode 14567 DataNode 14987 NodeManager 14445 NameNode 14877 ResourceManager[root@test127 ~]# netstat -lntp | grep 50070 tcp00 0.0.0.0:500700.0.0.0:*LISTEN14445/java [root@test127 ~]# netstat -lntp | grep 8088 tcp600 10.6.2.127:8088:::*LISTEN14877/java [root@test127 ~]# netstat -lntp | grep 50090 tcp00 0.0.0.0:500900.0.0.0:*LISTEN14726/java

六、浏览器访问测试 1、访问地址http://10.6.2.127:50070 、http://10.6.2.50090、http://10.6.2.127:8088
2、集群截图