关于如何用好Hadoop的9个问答详解

  • Post author:
  • Post category:其他


把Hadoop用起来很容易,但是要“用好”很难。以下是关于如何用好Hadoop的9个问答详解,希望对大家有所帮助。


问:Hadoop适不适用于电子政务?为什么?

答:电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化,建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务肯定会产生相关的大量数据以及相应的计算需求,而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足,就需要借助海量数据处理平台,例如Hadoop技术,因此可以利用Hadoop技术来构建电子政务云平台。

总结一下,任何系统没有绝对的适合和不适合,只有当需求出现时才可以决定,在一个非常小的电子政务系统上如果没有打数据处理以及计算分析需求时就不需要hadoop这样的技术,而实际上,商用的电子政务平台往往涉及到大规模的数据和大量的计算分析处理需求,因此就需要Hadoop这样的技术来解决。


问:hadoop对于实时在线处理有优势吗?

答:直接使用hadoop进行实时处理时没有优势的,因为Hadoop主要解决的是海量批处理作业计算问题,但是可以使用基于Hadoop的分布式NOSQL系统HBase系统以及相关实时处理系统:

1. 基于Hadoop的HBase可以做到实时处理以及相关需求的实时计算,主要解决海量相关查询计算等需求。

2. 可以考虑Spark计算,Spark是基于共现内存RDD的系统,比Hadoop更快,时候迭代式计算,例如数据挖掘,机器学习算法等。

3. 还有Storm,Storm是一个免费开源、分布式、高容错的实时计算系统,Storm经常用于在实时分析、在线机器学习、持续计算、分布



版权声明:本文为qq_38459998原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。