MapReduce基本原理分析

  • Post author:
  • Post category:其他




MapReduce概述

  1. MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题

  2. MapReduce是分布式运行的,由两个阶段组成:Map和Reduce

  3. MapReduce框架都有默认实现,用户只需要覆盖map()和reduce()两个函数,即可实现分布式计算,非常简单。



MapReduce原理分析

在这里插入图片描述

一个block对应一个split,一个split对应一个map任务



版权声明:本文为da13122318861原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。