MapReducer的基本使用及常见问题解决
1、准备好写好的mapreducer代码
文章图片
具体代码就不提供了，在这里讲解一下mapreducer遇到的问题及解决方法，仅供参考。
2、管理员命令开启hdfs集群
sudo start-dfs.sh
输入密码，查看集群状态
jps
出现namenode和datanode，就表示可以正常使用集群了(一般都是采用主机1开启)
3、打jar包
IEDA软件将mapreducer代码打jar包，过程图如下：
还没有打jar包前的目录是这样的：
文章图片
1）开始打包：
文章图片
2）选择主类：
文章图片
3）确认：
文章图片
4）准备工作做好，目录结构是这样的：
文章图片
5）继续下一步：
文章图片
文章图片
6） 打好jar包目录是这样的：
文章图片
4、上传jar包给集群
(上传前确认一下集群是否存在目录文件，由于我的文件路径是写固定的，所以上传命令不必说明input和output的位置)
Main类（主类）：
文章图片
hdfs集群文件位置：
文章图片
具体文件：
文章图片
如果还没有集群input文件，建议自行创建目录，上传文件，output文件在处理前不能存在，便捷一点可以在主类添加方法，避免多余操作。
Main类：
文章图片
创建input文件和上传命令(建议切换root用户)：
su
输入密码
hadoop fs -mkdir /user/fxb1/input
hadoop fs -put /home/fxb1/data/*.txt /user/fxb1/input
【MapReducer的基本使用及常见问题解决】上传jar包：
hadoop jar /home/user/IdeaProjects/fiction/out/artifacts/fiction_jar/fiction.jar
文章图片
出现错误，别着急
文章图片
查看原始数据：
文章图片
发现原始数据部分多了分割符（这里的分割符是","），标记一下，查看下一处。还好只有一处，修改代码部分。
Mapper部分：
文章图片
重新打jar包，如果主类不变，按Rebuild就行,不然就得删除目录上的out和META-INF文件，重新选择主类打包。
成功提示界面：
文章图片
打开集群web页面查看
文章图片
分析后的数据：
文章图片
成功没有捷径，努力勇往前行。
推荐阅读
- 热闹中的孤独
- JAVA（抽象类与接口的区别&重载与重写&内存泄漏）
- 放屁有这三个特征的，请注意啦！这说明你的身体毒素太多
- 一个人的旅行，三亚
- 布丽吉特，人生绝对的赢家
- 慢慢的美丽
- 尽力
- 一个小故事，我的思考。
- 家乡的那条小河
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量