仓廪实则知礼节,衣食足则知荣辱。这篇文章主要讲述Hadoop Mapper参数含义相关的知识,希望能为你提供帮助。
我是Hadoop的新手并且对参数有疑问:对于单词计数示例,请参阅下面的代码片段:
public static class TokenizerMapper
extends Mapper<
LongWritable, Text, Text, IntWritable>
{.....public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException
{
.......
}
}
我知道“value”参数是从文件读取的行,但“key”参数是什么意思?它对应的是什么?
为什么它的类型是LongWritable?
通过搜索文档我浪费了几个小时,有人可以帮忙吗?
答案关键是
LongWritable
类型,因为wordcount程序将输入作为TextInputFormat
根据JavDoc的
TextInputFormat
纯文本文件的InputFormat。文件分为几行。换行或回车用于发出行尾信号。键是文件中的位置,值是文本行。根据定义,假设你的文字是
We are fine.
How are you?
All are fine.
然后输入到映射器
关键:
1
价值:We are fine.
键:
14
值:How are you?
(第一行包含换行符约13个字符,因此行位置为14)【Hadoop Mapper参数含义】键:
28
值:All are fine.
(第二行中还有大约13个字符,包括换行符,因此自文件开头以来的行位置为28)推荐阅读
- 错误 - Android Studio - Gradle Ask
- 从Android Things设备上的应用程序中选择WiFi网络(Raspberry Pi 3)
- 如何使用autolayout将UIScrollView滚动到viewWillAppear的底部,没有可视化动画
- “离子cordova运行android”无法使用cordova-android@7.0.0
- 如何使用Android中的Camera.Parameter在黑白模式下打开和捕捉相机图片
- win10怎样设置宽带连接,本文教您修好宽带连接问
- windows10 cmd|本文教您windows10系统下cmd命令大全
- Win10怎样退回Win 8,本文教您怎样退回
- 电脑快捷键运用大全,本文教您只需看这篇就够了