原文链接:https://blog.csdn.net/qq_21292551/article/details/50261391
1.MapReduce中数据流动
(1)最简单的过程: map – reduce
(2)定制了partitioner以将map的结果送往指定reducer的过程: map – partition – reduce
(3)增加了在本地先进性一次reduce(优化)过程: map – combin(本地reduce) – partition -reduce
自定义一个分区方案,默认通过key的hash值
job中添加设置:
结果参考:
2.Mapreduce中Partition的概念以及使用
1)Partition的原理和作用
得到map给的记录后,他们该分配给哪些reducer来处理呢?hadoop采用的默认的派发方式是根据散列值来派发的,但是实际中,这并不能很高效或者按照我们要求的去执行任务。例如,经过partition处理后,一个节点的reducer分配到了20条记录,另一个却分配道了10W万条,试想,这种情况效率如何。又或者,我们想要处理后得到的文件按照一定的规律进行输出,假设有两个reducer,我们想要最终结果中part-00000中存储的是”h”开头的记录的结果,part-00001中存储其他开头的结果,这些默认的partitioner是做不到的。所以需要我们自己定制partition来根据自己的要求,选择记录的reducer。自定义partitioner很简单,只要自定义一个类,并且继承Partitioner类