5.1.2　设计思路

这个应用实例的解决方案很直接，就是将文件内容切分成单词，然后将所有相同的单词聚集在一起，最后计算单词出现的次数并输出。根据MapReduce并行程序设计原则可知，解决方案中的内容切分步骤和数据不相关，可以并行化处理，每个获得原始数据的机器只要将输入数据切分成单词就可以了。所以可以在Map阶段完成单词切分任务。另外，相同单词的频数计算也可以并行化处理。由实例要求来看，不同单词之间的频数不相关，所以可以将相同的单词交给一台机器来计算频数，然后输出最终结果。这个过程可以在Reduce阶段完成。至于将中间结果根据不同单词分组再分发给Reduce机器，这正好是MapReduce过程中的shuffle能够完成的。至此，这个实例的MapReduce程序就设计出来了。Map阶段完成由输入数据到单词切分的工作，shuffle阶段完成相同单词的聚集和分发工作（这个过程是MapReduce的默认过程，不用具体配置），Reduce阶段负责接收所有单词并计算其频数。MapReduce中传递的数据都是＜key, value＞形式的，并且shuffle排序聚集分发都是按照key值进行的，因此将Map的输出设计成由word作为key、1作为value的形式，这表示单词word出现了一次（Map的输入采用Hadoop默认的输入方式：文件的一行作为value，行号作为key）。Reduce的输入为Map输出聚集后的结果，即＜key, value-list＞，具体到这个实例就是＜word，{1，1，1，1……}＞，Reduce的输出会设计成与Map输出相同的形式，只是后面的数字不再固定是1，而是具体算出的word所对应的频数。下面给出笔者实验的WordCount代码。