Hadoop集群搭建 Hadoop集群搭建

一.安装虚拟机环境虚拟机版本：VMware Workstation Pro
LInux版本：CentOS-6.10-x86_64-bin-DVD1.iso
（下载地址：https://developer.aliyun.com/mirror或者 https://tuna.moe/）

二.搭建集群 1.集群分配两个节点：主节点（master-192.168.31.160），从节点（follower-192.168.31.160）【为啥不用slaver，，，，，个人不喜欢这个单词。。。。。】
网络配置需要注意，借鉴我之前写的文档
注意：配置网络使用桥接模式，与主机相同的网关和掩码，（Windows查询主机地址命令：ipconfig；Linux命令：ifconfig），红标位置可自行选择。curl命令查询是否联网成功，也可以用Windows命令行ping主机地址。

文章图片
IP配置 2.集群搭建安装一下可能需要的环境：yum-yinstallautoconfautomakelibtoolcmakencurses-developenss-devellzo-develzlib-develgccgcc-c++
（1）修改hostname

文章图片

文章图片
将HOSTNAME修改成对应主机名，记得修改其他节点，重启生效，重启生效，重启生效。
（2）添加host节点

文章图片

文章图片
每个节点都需要修改，其中的间距用Tab键控制。
（3）关闭防火墙和selinux
关闭防火墙命令：chkconfig iptables off

文章图片
关闭selinux

文章图片

文章图片
修改为disabled （4）ssh免密登录
命令：ssh-keygen -t rsa然后四下回车键，然后拷贝公钥，借我之前的图。
主节点配置完成后，通过命令：scp -r /root/.ssh/follower:/root。然后就好了各个节点之间可以通过（ssh+主机名）登录

文章图片

文章图片
（5）安装JDK
个人习惯把软件都放在（/home）目录下，所以目录可以自己选，按照习惯来。
解压JDK到softwares目录下（tar -zxfjdk-8u151-linux-x64.tar.gz -C ../softwares/）,打开jdk目录，并打印路径（pwd），复制待用。（vim /etc/profile）修改环境变量，使修改后的环境变量生效（source /etc/profile），只需配置JAVA_HOME,如图（参考）。java -version 查看是否安装成功及版本

文章图片

文章图片
(6)安装Hadoop
下载hadoop包（http://archive.apache.org/dist/）apache的软件里面都有，自己找一下，锻炼一下。下的tar包，比较大的那个，当然也可以下载src的源码包，自行编译或者睡前阅读。上传至主节点，并解压到安装目录（tar -zxvf需解压文件-C安装目录）
先在主节点上操作，到修改完配置文件再分发到其余节点。

文章图片

文章图片
把hadoop的写入环境变量，方便操作。vim修改，source生效

文章图片
（7）配置Hadoop
需要配置如下文件（/home/softwares/hadoop-2.6.1/etc/hadoop）可以使用notepad链接虚拟机进行操作，查一下操作就行。
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves
hadoop-env.sh
添加JAVA路径，找到并修改。

文章图片

yarn-env.sh 添加JAVA路径，找到并修改。

文章图片
core-site.xml
需要添加：注释是我方便理解加的，不需要添加

fs.defaultFS
hdfs://master:9000//主节点的端口

io.file.buffer.size
131072

hadoop.tmp.dir
file:/home/softwares/hadoop-2.6.1/temp//文件存放目录，需要自行创建，并且要（chmod 777）

hadoop.proxyuser.root.hosts
*

hadoop.proxyuser.root.groups
*

文章图片

hdfs-site.xml

dfs.namenode.secondary.http-address
master:9001

dfs.namenode.name.dir
file:/home/softwares/hadoop-2.6.1/dfs/name//文件存放目录，需要自行创建，并且要（chmod 777）

dfs.datanode.data.dir
file:/home/softwares/hadoop-2.6.1/dfs/data//文件存放目录，需要自行创建，并且要（chmod 777）

dfs.replication
2

dfs.webhdfs.enabled
true

dfs.permissions
false

dfs.web.ugi
supergroup

文章图片

mapred-site.xml 配置前需要将mapred-site.xml.template重命名为 .xml的文件
【Hadoop集群搭建】
mapreduce.framework.name
yarn//配置yarn服务，应该是的

mapreduce.jobhistory.address
master:10020

mapreduce.jobhistory.webapp.address
master:19888

文章图片

yarn-site.xml

配置一些端口和resourcemanager的节点

文章图片

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.hostname
master

yarn.resourcemanager.address
master:8032

yarn.resourcemanager.scheduler.address
master:8030

yarn.resourcemanager.resource-tracker.address
master:8031

yarn.resourcemanager.admin.address
master:8033

yarn.resourcemanager.webapp.address
master:8088

slaves
配了几个节点就写几个

文章图片
配置完成后，分发到其余节点（scp -r /home/softwares/hadoop-2.6.1/follower:/home/softwares/hadoop-2.6.1）
并修改从节点的环境变量，添加hadoop路径到环境变量，并生效。

三.启动集群 1、初始化NameNode
进入到hadoop安装目录（/home/softwares/hadoop-2.6.1），命令:bin/hdfs namenode -format。
在最后部分看到：INFO common.Storage: Storage directory /home/softwares/hadoop-2.7.3/data/tmp/dfs/name has been successfully formatted 才是初始化成功。
2、启动集群
命令：start-all.sh
查看进程命令：jps
主节点的NameNode和DataNode，和从节点的DataNode都启动成功，表示安装成功。

文章图片

文章图片
启动成功后，登录页面192.168.31.160:50070（主节点IP地址:50070）

文章图片

Yarn的界面192.168.31.161:8088

文章图片

Hadoop集群搭建

推荐阅读

治疗高血压|最新研究：肠道健康竟然与高血压、抑郁症有关？

追风酒怎么样为什么追风酒这么便宜

尼康四代大钢炮怎么样尼康四代大钢炮

D600刷机教程

日立立式空调过滤网灯闪烁是什么原因，日立空调滤网灯亮如何消除 ,一定有你不知道的

甄程11.4工作总结

西门子HB557GES0W烤箱不加热维修多少钱

油炸过的油还能用吗

银行卡挂失补办还是原来的卡号吗

vivo手机一共有几种类型的呢？

教你WIN10系统鼠标光标怎样会消失系统鼠标光标消失的处理操作步骤

牛肉羹面的制作方法牛肉羹面怎么做

出现威能锅炉显示大写c怎么办,故障原因说明与3种解决方法

小米手机能接收短信但是发不出去手机能接收短信但是发不出去

黄酒炖蛋这样做简单好吃黄酒炖蛋这样做简单好吃视频

redis为什么是16384 redis为什么这么快

对自己的女人好，是一个男人得修养《2》

原发性高血压|防控高血压三部曲：知晓、治疗、达标

家里进蝙蝠是什么预兆

1u等于多少mm,1u单位换算