1|1 - Hadoop2.0集群搭建流程详解 1-Hadoop2.0集群搭建流程详解

1. 使用vm安装centos7.0 可以参考文章: CentOS 7.0系统安装配置步骤及网络开启配置详解(https://blog.csdn.net/youzhouliu/article/details/51175364)
2.配置linux虚拟机桥接模式,设置上网第一个虚拟机,定为master
可参考文章: # 主机桥接Centos7联网问题总结
3.使用vm克隆两个虚拟机,组件集群克隆的两个虚拟机,分别为slave1和slave2
4.修改slave1和slave2的ip,并通过配置使其能够联网 5. 修改mater,slave1和slave2的hostname 可参考文章: centos7配置SSH免密码登陆(https://blog.csdn.net/uuidanduid/article/details/60172998)
6.设置集群节点之间的免密码互访机制可参考文章: centos7配置SSH免密码登陆(https://blog.csdn.net/uuidanduid/article/details/60172998)
7.使用xftp上传文件这里是与centos6.5有所区别的地方,centos6.5可以通过共享文件夹的方式,上传文件.
而centos7.0不同通过简单设置共享文件夹的方式上传文件,还需要安装vm tools,相对复杂些.
而真正生产环境一般不用共享文件夹,而是更多使用xftp,所以此处选择使用xftp.
8.将所需要的安装包上传到/usr/local/src目录下这里主要使用的安装包有:
jdk-7u80-linux-x64.tar.gz
hadoop-2.6.1.tar.gz
需要的linux命令:

#解压命令: tar -zxvfjdk-7u80-linux-x64.tar.gz#跨节点复制命令: scp -rp jdk-7u80-linux-x64.tar.gz 192.168.175.21:/usr/local/src/ #或者 scp -rp jdk-7u80-linux-x64.tar.gz slave1:/usr/local/src/

需要在~/.bashrc进行如下方式的配置

iptables -F#强制关闭防火墙 setenforce 0 hostname masterexport JAVA_HOME=/usr/local/src/jdk1.7.0_80 export HADOOP_HOME=/usr/local/src/hadoop-2.6.1# added by Anaconda3 #export PATH =/root/anaconda3/bin:$PATH export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

9. 在jdk安装完成后,就可以配置hadoop2.0了. 配置hadoop文件所在的路径为:/usr/local/src/hadoop-2.6.1/etc/hadoop
9.1 在hadoop-env.sh中配置JAVA_HOME

# The java implementation to use. export JAVA_HOME=/usr/local/src/jdk1.7.0_80

9.2 在yarn-env.sh中配置JAVA_HOME

# some Java parameters export JAVA_HOME=/usr/local/src/jdk1.7.0_80

9.3 在slaves中配置从节点

slave1 slave2

9.4 在core-site.xml中配置如下:

fs.defaultFS hdfs://master:9000 hadoop.tmp.dir file:/usr/local/src/hadoop-2.6.1/tmp Abase for other temporary directories.

9.5 在HADOOP_HOME创建如下目录:tmp,dfs/name,dfs/data 执行命令:

mkdir tmp mkdir -p dfs/name mkdir -p dfs/data

9.6 在hdfs-site.xml中进行如下配置:

dfs.replication 3 dfs.namenode.secondary.http-address master:9001 dfs.namenode.name.dir file:/usr/local/src/hadoop-2.6.1/dfs/name dfs.datanode.data.dir file:/usr/local/src/hadoop-2.6.1/dfs/data

9.7 修改mapred-site.xml.template文件名->mapred-site.xml 执行命令:

cp mapred-site.xml.template mapred-site.xml

在mapred-site.xml进行如下配置:

mapreduce.framework.name yarn

9.8 在yarn-site.xml中进行如下配置:

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8035 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088