hadoop安装 hadoop

一、安装VM
二、安装centos8.4
三、安装hadoop
1.创建用户
①切换root用户 su
②增加用户 useradd -m hadoop -s /bin/bash
③密码 passwd hadoop
④为用户增加管理员权限 vim /etc/sudoers 或者 visudo
找到 root ALL=(ALL) ALL 这行，按i，进入插入模式，在这行下面增加一行内容hadoop ALL=(ALL) ALL，按ESC 键，然后输入":wq" ，再按回车退出编辑(空格为tab键)
⑤前面增加管理员账号后，需要用sudo才能执行管理员权限，为了方便直接更改/opt/下文件的权限 chmod -R 777 /opt/
⑥/opt/下创建文件夹用于储存数据
用于储存软件 mkdir soft
用于储存数据 mkdir datas
用于储存hadoop等安装 mkdir modules

文章图片

2.SSH
①查看是否安装SSH rpm -qa | grep ssh
②[hadoop@my ~]$ cd ~/.ssh/
[hadoop@my .ssh]$ ssh-keygen -t rsa
一直按回车
[hadoop@my .ssh]$ cat id_rsa.pub >> authorized_keys
[hadoop@my .ssh]$ chmod 600 ./authorized_keys

文章图片

3.安装jdk
①查询是否安装JAVA环境 rpm -qa | grep java
②若有JAVA环境，则卸载 rpm -e --nodeps [各个JAVA]
③将文件解压到目录 tar -zxvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/
④配置JVAV环境变量 vim /etc/profile
export JAVA_HOME=/opt/modules/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin
强制刷新配置文件 source /etc/profile

文章图片

4.安装hadoop
①解压文件 tar -zxvf hadoop-3.3.1.tar.gz -C /opt/modules/
② 修改etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_301
③创建文件目录 [hadoop@my hadoop-3.3.1]$ mkdir data
[hadoop@my hadoop-3.3.1]$ cd data
[hadoop@my data]$ mkdir tmp
修改etc/hadoop/core-site.xml

fs.defaultFS hdfs://my:9000 hadoop.tmp.dir /opt/modules/hadoop-3.3.1/data/tmp

④修改etc/hadoop/hdfs-site.xml

dfs.replication 1

【hadoop安装】⑤修改etc/hadoop/mapred-site.xml

mapreduce.framework.name yarn mapreduce.application.classpath $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*

⑥修改etc/hadoop/mapred-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME

⑦
⑧
⑨
备注：
firewall-cmd --state --查看防火墙状态
systemctl start firewalld.service --打开防火墙
systemctl stop firewalld.service --关闭防火墙
systemctl disable firewalld.service --永久关闭防火墙
[hadoop@my hadoop-3.3.1]$ bin/hdfs dfs -mkdir /user
[hadoop@my hadoop-3.3.1]$ bin/hdfs dfs -mkdir /user/hadoop