MapReduce字符计数示例 MapReduce字符计数|Hadoop

本文概述

前提条件
执行MapReduce字符计数示例的步骤

【MapReduce字符计数示例】在MapReduce字符计数示例中, 我们找出每个字符的频率。在这里, Mapper的作用是将键映射到现有值, 而Reducer的作用是聚合公用值的键。因此, 一切都以键值对的形式表示。
前提条件

Java安装-使用以下命令检查是否已安装Java。 Java版本
Hadoop安装-使用以下命令检查是否已安装Hadoop。 Hadoop版本

如果你的系统中未安装其中任何一个, 请按照以下链接进行安装。
www.srcmini.com/hadoop-installation
执行MapReduce字符计数示例的步骤

在本地计算机上创建一个文本文件, 并在其中写入一些文本。 $ nano info.txt

文章图片

检查写在info.txt文件中的文本。 $ cat info.txt

文章图片
在此示例中, 我们找出了此文本文件中每个char值存在的频率。

在HDFS中创建一个目录, 用于保存文本文件。 $ hdfs dfs -mkdir / count
将info.txt文件上载到HDFS的特定目录中。 $ hdfs dfs -put /home/codegyani/info.txt / count

文章图片

使用Eclipse编写MapReduce程序。

文件：WC_Mapper.java

package com.srcmini; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.Mapper; import org.apache.hadoop.mapred.OutputCollector; import org.apache.hadoop.mapred.Reporter; public class WC_Mapper extends MapReduceBase implements Mapper< LongWritable, Text, Text, IntWritable> {public void map(LongWritable key, Text value, OutputCollector< Text, IntWritable> output, Reporter reporter) throws IOException{String line = value.toString(); Stringtokenizer[] = line.split(""); for(String SingleChar : tokenizer){Text charKey = new Text(SingleChar); IntWritable One = new IntWritable(1); output.collect(charKey, One); }}}

文件：WC_Reducer.java

package com.srcmini; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.OutputCollector; import org.apache.hadoop.mapred.Reducer; import org.apache.hadoop.mapred.Reporter; public class WC_Reducerextends MapReduceBase implements Reducer< Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterator< IntWritable> values, OutputCollector< Text, IntWritable> output, Reporter reporter) throws IOException { int sum=0; while (values.hasNext()) { sum+=values.next().get(); } output.collect(key, new IntWritable(sum)); } }

文件：WC_Runner.java

package com.srcmini; import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.FileInputFormat; import org.apache.hadoop.mapred.FileOutputFormat; import org.apache.hadoop.mapred.JobClient; import org.apache.hadoop.mapred.JobConf; import org.apache.hadoop.mapred.TextInputFormat; import org.apache.hadoop.mapred.TextOutputFormat; public class WC_Runner {public static void main(String[] args) throws IOException{JobConf conf = new JobConf(WC_Runner.class); conf.setJobName("CharCount"); conf.setOutputKeyClass(Text.class); conf.setOutputValueClass(IntWritable.class); conf.setMapperClass(WC_Mapper.class); conf.setCombinerClass(WC_Reducer.class); conf.setReducerClass(WC_Reducer.class); conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); FileInputFormat.setInputPaths(conf, new Path(args[0])); FileOutputFormat.setOutputPath(conf, new Path(args[1])); JobClient.runJob(conf); } }

下载源代码。

创建该程序的jar文件, 并将其命名为charcountdemo.jar。
运行jar文件hadoop jar /home/codegyani/charcountdemo.jar com.srcmini.WC_Runner /count/info.txt / char_output
输出存储在/ char_output / part-00000