MapReduce字数示例 MapReduce字数|Hadoop

本文概述

前提条件
执行MapReduce字数统计示例的步骤

在MapReduce单词计数示例中, 我们找出每个单词的频率。在这里, Mapper的作用是将键映射到现有值, 而Reducer的作用是聚合公用值的键。因此, 一切都以键值对的形式表示。
前提条件

Java安装-使用以下命令检查是否已安装Java。 Java版本
Hadoop安装-使用以下命令检查是否已安装Hadoop。 Hadoop版本

如果你的系统中未安装其中任何一个, 请按照以下链接进行安装。
www.srcmini.com/hadoop-installation
执行MapReduce字数统计示例的步骤

在本地计算机上创建一个文本文件, 并在其中写入一些文本。 $ nano data.txt

文章图片

检查写在data.txt文件中的文本。 $ cat data.txt

文章图片
【MapReduce字数示例】在此示例中, 我们找出此文本文件中每个单词的出现频率。

在HDFS中创建一个目录, 用于保存文本文件。 $ hdfs dfs -mkdir / test
将data.txt文件上载到HDFS的特定目录中。 $ hdfs dfs -put /home/codegyani/data.txt / test

文章图片

使用Eclipse编写MapReduce程序。

文件：WC_Mapper.java

package com.srcmini; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.Mapper; import org.apache.hadoop.mapred.OutputCollector; import org.apache.hadoop.mapred.Reporter; public class WC_Mapper extends MapReduceBase implements Mapper< LongWritable, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, OutputCollector< Text, IntWritable> output, Reporter reporter) throws IOException{String line = value.toString(); StringTokenizertokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()){word.set(tokenizer.nextToken()); output.collect(word, one); }}}

文件：WC_Reducer.java

package com.srcmini; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.OutputCollector; import org.apache.hadoop.mapred.Reducer; import org.apache.hadoop.mapred.Reporter; public class WC_Reducerextends MapReduceBase implements Reducer< Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterator< IntWritable> values, OutputCollector< Text, IntWritable> output, Reporter reporter) throws IOException { int sum=0; while (values.hasNext()) { sum+=values.next().get(); } output.collect(key, new IntWritable(sum)); } }

文件：WC_Runner.java

package com.srcmini; import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.FileInputFormat; import org.apache.hadoop.mapred.FileOutputFormat; import org.apache.hadoop.mapred.JobClient; import org.apache.hadoop.mapred.JobConf; import org.apache.hadoop.mapred.TextInputFormat; import org.apache.hadoop.mapred.TextOutputFormat; public class WC_Runner {public static void main(String[] args) throws IOException{JobConf conf = new JobConf(WC_Runner.class); conf.setJobName("WordCount"); conf.setOutputKeyClass(Text.class); conf.setOutputValueClass(IntWritable.class); conf.setMapperClass(WC_Mapper.class); conf.setCombinerClass(WC_Reducer.class); conf.setReducerClass(WC_Reducer.class); conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path(args[0])); FileOutputFormat.setOutputPath(conf, new Path(args[1])); JobClient.runJob(conf); } }

下载源代码。

创建该程序的jar文件, 并将其命名为countworddemo.jar。
运行jar文件hadoop jar /home/codegyani/wordcountdemo.jar com.srcmini.WC_Runner /test/data.txt / r_output
输出存储在/ r_output / part-00000