Hadoop2.6.4配置 Hadoop2.6.4配置

前言本集群有两台机器

master 172.16.15.18
slave1 172.16.15.218

__ 默认已完成JDK的安装 __
准备工作

为两台电脑新建hadoop用户

#添加hadoop用户 useradd hadoop passwd hadoop (按照提示输入密码)

并将其加入sudoers，方便后续配置操作，可参考用户不在sudoers文件中的解决方法

下载Hadoop2.6.4

cd ~/ mkdir tools cd tools wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz tar -xvzf hadoop-2.6.4.tar.gz.1 sudo mv hadoop-2.6.4 /opt chown -R hadoop:hadoop hadoop-2.6.4

配置hosts

vim /etc/hosts

添加如下两行

172.16.15.18 master 172.16.15.218 slave1

修改hostname

vim /etc/sysconfig/network

对两台电脑分别添加

HOSTNAME=master

HOSTNAME=slave1

互相ping通即为成功

ping master ping slave1

配置SSH免密码登陆 1. 以hadoop身份登陆电脑查看/etc/ssh/sshd_config，确保公钥登陆模式被打开

RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile.ssh/authorized_keys

2. 建立公钥私钥对

#若没有先mkdir cd ~/.ssh ssh-kengen -t rsa

一路回车，最终生成id_rsa,id_rsa.pub两个文件
3. 两台主机交换公钥

[hadoop@slave1] scp id_rsa.pubhadoop@master:~/.ssh/id_rsa.pub_sl [hadoop@master] cat id_rsa.pub_sl >> authorized_keys [hadoop@master] cat id_rsa.pub >> authorized_keys

将合并后的authorized_keys拷回slave1

scp authorized_keyshadoop@slave1:~/.ssh/

现在将两台机器 .ssh/ 文件夹权限改为700，authorized_keys文件权限改为600（or 644）

chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys

测试是否能互相ssh登陆

ssh master ssh slave1

配置hadoop 1 配置hadoop环境变量编辑/etc/profile
文件，在末尾添加如下两行：

export HADOOP_HOME=/opt/hadoop-2.6.4 export PATH=$PATH:$HADOOP_HOME/bin

重启/etc/profile

source /etc/profile

一共有7个文件要修改：
$HADOOP_HOME/etc/hadoop/core-site.xml
$HADOOP_HOME/etc/hadoop/hdfs-site.xml
$HADOOP_HOME/etc/hadoop/mapred-site.xml
$HADOOP_HOME/etc/hadoop/yarn-site.xml
$HADOOP_HOME/etc/hadoop/slaves
最后将配置好的hadoop拷贝到slave1上：