大数据技术栈|（七）Hadoop 3.3.0学习—

一、准备工作 1. 环境配置 1.1 解压hadoop安装包
在服务器的/usr/local/hadoop目录下进行解压

tar -zxvf hadoop-3.3.0.tar.gz

1.2 配置环境变量
1.2.1 配置hadoop环境变量打开Linux系统配置：

vim /etc/profile source /etc/profile

在末尾添加下面内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.0 PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

1.2.2 配置网络映射

vi /etc/hosts

添加下面内容，后面直接用hadoop代表该主机

192.168.***.*** hadoop

1.2.3 生成公私钥生成公私钥：

ssh-keygen -t rsa

将公钥拷贝到所有hadoop节点，我这里只有一个节点

ssh-copy-id hadoop

2. HDFS配置在hadoop-3.3.0/etc/hadoop文件目录下进行修改
2.1 core-site.xml

fs.defaultFS hdfs://hadoop:9000 hadoop.tmp.dir /usr/local/hadoop/hadoop-3.3.0/hadoop-tmp

2.2 hdfs-site.xml
由于我没有搭集群，只部了一个HDFS服务，所以备份数量是1

dfs.replication 1

2.3 hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_261

3 启动脚本配置在hadoop-3.3.0/sbin目录下进行配置
3.1 start-dfs.sh、stop-dfs.sh
添加以下内容：

HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

建议同时将start-yarn.sh和stop-yarn.sh也添加如下配置，避免以后遗忘：

YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root

4 启动HDFS 由于更改了hadoop.tmp.dir的目录，所以初次启动需要先格式化一下：

hdfs namenode -format

启动HDFS：

start-dfs.sh

5. 访问Web页面访问服务器的xxx.xxx.xxx.xxx:9870地址，查看HDFS的详细情况。

文章图片

二、HDFS Java基本操作 1. Maven依赖

3.3.0

org.apache.hadoop hadoop-common ${hadoop.version} org.apache.hadoop hadoop-hdfs ${hadoop.version} org.apache.hadoop hadoop-client ${hadoop.version}

2. 基本操作在服务器上通过shell命令进行HDFS操作的用法这里就不多说了，下面是用Java代码进行HDFS的基础操作，其他操作类似
2.1 初始化文件系统

/** * HDFS文件系统 */ private FileSystem fileSystem; /** * 初始化文件系统 * @throws URISyntaxException * @throws IOException */ @Before public void before() throws IOException {// Windows环境中运行需要设置Hadoop用户名为root，否则会报错权限不足 System.setProperty("HADOOP_USER_NAME", "root"); // 对HDFS进行配置 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.***.***:9000"); conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); fileSystem = FileSystem.newInstance(conf); }/** * 关闭资源 */ @After public void close(){ if (fileSystem != null) { try { fileSystem.close(); } catch (IOException e) { e.printStackTrace(); } } }

2.2 上传文件

/** * 创建目录，上传文件 * @throws URISyntaxException * @throws IOException */ @Test public void testUpload() throws URISyntaxException, IOException { Path dst = new Path("/wordCount"); fileSystem.mkdirs(dst); fileSystem.copyFromLocalFile(new Path(HdfsTest.class.getClassLoader().getResource("word.txt").toURI()), dst); }

2.3 查询文件列表

/** * 打印文件列表 * @throws IOException */ @Test public void testListFile() throws IOException { RemoteIterator iter = fileSystem.listFiles(new Path("/"), true); while (iter.hasNext()) { LocatedFileStatus next = iter.next(); System.out.println(next.getPath()); } }

打印结果如下：