大数据|hadoop安装大数据|hdfs|hadoop

Hadoop 安装 1、安装java jdk
版本 jdk1.8.0_141
步骤：
? 1、创建 /opt/SoftWare/java 并将jar包拉进去
? 命令 tar -zxvf jdk1.8.0_141.tar.gz 解压
? 2、配置
? vi /etc/profile

#set java environment export JAVA_HOME=/opt/software/java/jdk1.8.0_141 export JRE_HOME=/opt/software/java/jdk1.8.0_141/jre export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

? 3、重新加载命令： source /etc/profile
? 4、 java -version 查看
2、安装Hadoop
【大数据|hadoop安装】版本：hadoop-2.7.3
步骤：
? 1、创建 /opt/SoftWare/hadoop 并将jar包拉进去
? 命令 tar -zxvf hadoop-2.7.3.tar.gz 解压
? 2、配置

#hadoop export HADOOP_HOME=/opt/software/hadoop/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

? 3、重新加载命令： source /etc/profile
? 4、hadoop version
Hadoop单机集群安装： 1. 修改主机名和ip映射
? vi /etc/hosts 192.168.233.128 jsu
注释掉前两行

文章图片

2、修改配置文件
? 进入 cd /opt/software/hadoop/hadoop-2.7.3/etc/hadoop目录下
? 伪分布式需要修改5个配置文件
2.1 第一个：hadoop-env.sh ? vi hadoop-env.sh
自己jdk的位置

文章图片

2.2 第二个：core-site.xml ? vi core-site.xml

fs.defaultFS hdfs://jsu:9000 hadoop.tmp.dir /jsu/hadoop/tmp

2.3 第三个：hdfs-site.xml ? vi hdfs-site.xml

dfs.replication 1 dfs.namenode.name.dir/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir/usr/local/hadoop/tmp/dfs/data

2.4 第四个：mapred-site.xml 移动文件 mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

mapreduce.framework.name yarn

2.5 第五个yarn-site.xml

yarn.resourcemanager.hostname jsu yarn.nodemanager.aux-services mapreduce_shuffle

3、格式化namenode

hadoop namenode -format

4、启动hadoop

#先启动HDFS sbin/start-dfs.sh#再启动YARN sbin/start-yarn.sh#一路yes 加上输入自己的root密码

5、验证是否启动成功

[root@jsu sbin]# jps 3912 DataNode 4378 Jps 4331 NodeManager 4093 SecondaryNameNode 3822 NameNode 4239 ResourceManager

6. 关闭防火墙

#停止firewall systemctl stop firewalld systemctl disable firewalld.service #禁止firewall开机启动

7. 浏览器查看
? http://192.168.21.116:50070 （HDFS管理界面）
? http://192.168.21.116:8088 yarn管理界面）
SSH免密登录

cd~/.ssh ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上 ssh-copy-id 192.168.233.128#ip

HDFS shell常用命令

hadoop fs -help [cmd]#显示命令的帮助信息 hadoop fs -ls(r)#显示当前目录下所有文件 hadoop fs -du(s)#显示目录中所有文件大小 hadoop fs -count[-q]#显示目录中文件数量 hadoop fs -mv > #移动多个文件到目标目录 hadoop fs -cp> #复制多个文件到目标目录 hadoop fs -rmr /t1#删除文件(夹) hadoop fs -put #本地文件复制到hdfs hadoop fs -copyFromLocal#同put hadoop fs -moveFromLocal#从本地文件移动到hdfs hadoop fs -get [-ignoreCrc] > #复制文件到本地，可以忽略crc校验 hadoop fs -getmerge > #将源目录中的所有文件排序合并到一个文件中 hadoop fs -cat >#在终端显示文件内容 hadoop fs -ls /#查看HDFS系统根目录 hadoop fs -ls hdfs://192.168.233.129:9000/ hadoop fs -ls hdfs://zhiyou01:9000/ hadoop fs -mkdir /a#创建文件夹 hadoop fs -mkdir -p /aa/bb/cc#创建级联文件夹 hadoop fs -ls -R /aa#查看系统根目录下的所有文件包括子文件夹里面的文件 hadoop fs -put words.txt /aa#上传文件 hadoop fs -copyFromLocal words.txt /aa/bb #上传文件

:9000/
hadoop fs -mkdir /a #创建文件夹
hadoop fs -mkdir -p /aa/bb/cc #创建级联文件夹
hadoop fs -ls -R /aa #查看系统根目录下的所有文件包括子文件夹里面的文件
hadoop fs -put words.txt /aa #上传文件
hadoop fs -copyFromLocal words.txt /aa/bb #上传文件