锐客网

  1. 首页 > 生活百科 > it技术 > >

Hadoop|如何在IDEA编译器中连接HDFS，运行MapReduce程序

javalinuxhadoop大数据mapreduceHDFS

? ? ? ? ? 博主信息? ? ? ? ?
博主名称：Yuan-Programmer
链接直达：https://bbs.csdn.net/topics/603957283
链接直达：https://bbs.csdn.net/topics/603957283
链接直达：https://bbs.csdn.net/topics/603957283
链接直达：https://bbs.csdn.net/topics/603957283
? ? ? ? ? 点点五星? ? ? ? ?
我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。
贡献您几秒钟时间，点个五星，在此感激不尽！！！
各大技术基础教学、实战开发教学（最新更新时间2021-12-4）
打开IDEA编译器-->>点击File-->>选择Settings
Hadoop|如何在IDEA编译器中连接HDFS，运行MapReduce程序
文章图片

找到Plugins，在Installed中搜索big，找到下面这个，点击下载，我这里已经下载过了
Hadoop|如何在IDEA编译器中连接HDFS，运行MapReduce程序
文章图片

下载之后展开在左侧的Tools下的Big...里，配置如下信息
Hadoop|如何在IDEA编译器中连接HDFS，运行MapReduce程序
文章图片

上面的hadoop01:9000是之前的core-site.xml配置里的
Hadoop|如何在IDEA编译器中连接HDFS，运行MapReduce程序
文章图片

然后点击右上角的这里，添加新的Application
Hadoop|如何在IDEA编译器中连接HDFS，运行MapReduce程序
文章图片
Hadoop|如何在IDEA编译器中连接HDFS，运行MapReduce程序
文章图片

然后在你的maven项目（MapReduce）的resource下面添加三个配置文件
core-site.xml
fs.defaultFS hdfs://hadoop01:9000

log4j.properties（打印日志）
log4j.appender.A1.Encoding=UTF-8 log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

mapred-site.xml
mapred.remote.os Linux Remote MapReduce framework's OS, can be either Linux or Windows mapreduce.app-submission.cross-platform true

最后直接点击运行，就可以在IDEA运行MapReduce程序啦（前提是开启hadoop服务哦，能再浏览器打开HDFS文件系统）
【Hadoop|如何在IDEA编译器中连接HDFS，运行MapReduce程序】

    推荐阅读


    上一篇：SpringBoot教学|使用SpringBoot一小时快速搭建一个简单后台管理（后端篇）

    下一篇：SpringBoot教学|使用SpringBoot一小时快速搭建一个简单后台管理（增删改查）（超详细教程）