Hadoop安装详细步骤 Hadoop安装|Hadoop

本文概述

1）Java安装
2）SSH安装
3）Hadoop安装

Hadoop所需的环境：Hadoop的生产环境是UNIX, 但也可以在使用Cygwin的Windows中使用。需要Java 1.6或更高版本才能运行Map Reduce程序。要在UNIX环境中从tar球安装Hadoop, 你需要

Java安装
SSH安装
Hadoop安装和文件配置

1）Java安装步骤1.在提示符下键入“ java -version”以查找是否已安装Java。如果没有, 请从http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载Java。 tar文件jdk-7u71-linux-x64.tar.gz将下载到你的系统中。
步骤2.使用以下命令解压缩文件

#tar zxf jdk-7u71-linux-x64.tar.gz

步骤3.要使Java对UNIX的所有用户可用, 请将文件移至/ usr / local并设置路径。在提示符下切换到root用户, 然后在下面键入命令以将jdk移动到/ usr / lib。

# mv jdk1.7.0_71 /usr/lib/

现在, 在?/ .bashrc文件中, 添加以下命令来设置路径。

# export JAVA_HOME=/usr/lib/jdk1.7.0_71 # export PATH=PATH:$JAVA_HOME/bin

现在, 你可以在提示符下键入“ java -version”来检查安装。
2）SSH安装SSH用于与主从计算机交互, 而无需任何提示输入密码的操作。首先在主从系统上创建一个Hadoop用户

# useradd hadoop # passwd Hadoop

要映射节点, 请打开所有计算机上/ etc /文件夹中的hosts文件, 然后将ip地址及其主机名一起放入。

# vi /etc/hosts

输入下面的行

190.12.1.114hadoop-master 190.12.1.121hadoop-salve-one 190.12.1.143hadoop-slave-two

在每个节点中设置SSH密钥, 以便它们之间无需密码即可进行通信。相同的命令是：

# su hadoop $ ssh-keygen -t rsa $ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 $ chmod 0600 ~/.ssh/authorized_keys $ exit

3）Hadoop安装可以从http://developer.yahoo.com/hadoop/tutorial/module3.html下载Hadoop。
现在解压缩Hadoop并将其复制到某个位置。

$ mkdir /usr/hadoop $ sudo tar vxzfhadoop-2.2.0.tar.gz ?c /usr/hadoop

更改Hadoop文件夹的所有权

$sudo chown -R hadoopusr/hadoop

更改Hadoop配置文件：
所有文件都位于/ usr / local / Hadoop / etc / hadoop中
1）在hadoop-env.sh文件中添加

export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.7.0_71

2）在core-site.xml中的配置选项卡之间添加以下内容,

< configuration> < property> < name> fs.default.name< /name> < value> hdfs://hadoop-master:9000< /value> < /property> < property> < name> dfs.permissions< /name> < value> false< /value> < /property> < /configuration>

3）在hdfs-site.xmladd下面的配置选项卡之间,

< configuration> < property> < name> dfs.data.dir< /name> < value> usr/hadoop/dfs/name/data< /value> < final> true< /final> < /property> < property> < name> dfs.name.dir< /name> < value> usr/hadoop/dfs/name< /value> < final> true< /final> < /property> < property> < name> dfs.replication< /name> < value> 1< /value> < /property> < /configuration>

4）打开Mapred-site.xml并进行如下所示的更改

< configuration> < property> < name> mapred.job.tracker< /name> < value> hadoop-master:9001< /value> < /property> < /configuration>

5）最后, 更新$ HOME / .bahsrc

cd $HOME vi .bashrc Append following lines in the end and save and exit #Hadoop variables export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.7.0_71 export HADOOP_INSTALL=/usr/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL

在从属计算机上, 使用以下命令安装Hadoop。