Hadoop与Storm的对比

  • Post author:
  • Post category:其他

1、Hadoop上运行的是MapReduce jobs,而在Storm上运行的是topology。

2、 Hadoop使用磁盘作为中间交换的介质,而storm的数据是一直在内存中流转。

3、hadoop的数据源是HDFS上某文件夹下已经存在的TB级的大数据,待处理的数据是相对不变的;而Storm的数据源是实时新增的B或KB级的小数据,处理的数据是支持增加的。

4、一个MapReduce job数据处理完后会自动结束, 而一个topology数据处理完后会一直等待下一个数据的到来,不会自动停止(除非你手动强制停止)。

5、hadoop擅长批处理、吞吐量大、做全量数据的离线分析,Storm的优势是数据的实时分析,以实时性高被广泛应用,单位时间内的吞吐量要小于hadoop。

6、对比Hadoop的批处理,Storm是一个实时处理计算框架,是针对在线业务而存在的计算平台。同Hadoop一样Storm也可以处理大批量的数据,然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时。Storm同样具备容错和分布计算这些特性。Storm易于扩展,随着业务的发展,数据量、计算量的增大,只需要添加机器和改变对应的topology(拓扑)设置。Storm使用Zookeeper进行集群协调,充分保证集群的稳定运行。Storm一旦递交topology就会一直运行,直到topology被废除或者被关闭。而在执行中出现错误时,也会由Storm重新分配任务,一个节点挂了不能影响我的应用。

7、Hadoop下的Map/Reduce计算框架对于数据的处理流程是:

(1) 将要处理的数据上传到Hadoop的文件系统HDFS中。

(2) Map阶段: 对于大量的数据进行切分&


版权声明:本文为lvlei19911108原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。