python|python 实现 map 的分词 python实现map的分词

Map 的作用，即数据的映射，用于把一组键值对映射成另一组新的键值对。
白话就是对数据按照一定的格式进行归整。
举个例子，有一遍文章，需要对文章中出现过的相同的单词进行归类，期望结果如下：
将map的输出作为reduce的输入的过程就是shuffle了，这个是mapreduce优化的重点地方。

{"1", "are" : 1} {"1", "are" : 1}

#encodeing=utf-8 import sys for line in sys.stdin: ss = line.strip().split(' ') for word in ss: print '\t'.join([word.strip(), '1'])

测试数据： THE_MAN_OF_PROPERTY.txt，这里存一篇网上随机找的一篇英文长篇文章。
执行命令，并打印结果:

cat `THE_MAN_OF_PROPERTY.txt`| `python map.py` | `sort -k 1> 1.txt`

【python|python 实现 map 的分词】结果:

to1 to1 to1 today1 tool1 topic1 two 1 two 1 ··· variants1 variants1 variants1 ···

python|python 实现 map 的分词