大数据-分布式计算

  • Post author:
  • Post category:其他


分布式计算:

集中式计算(通过不断增加处理器的数量来增强单个计算机的计算能力)

分布式计算(把一组计算机通过网络相互连接组成分散系统,然后将需要处理的大量数据分散成多个部分,交由分散系统内的计算机组同时计算,最后将计算结果合并得到最终结果)

Google(非开源):

MapReduce 分布式计算框架

GFS(Google File System) 分布式文件系统

BigTable 基于GFS的数据存储系统

Hadoop的衍生(开源):

MapReduce 分布式计算框架

HDFS 分布式文件系统

主流的三大分布式计算系统:Hadoop Spark Storm

1.Storm不同于Hadoop和Spark,其不进行数据的收集和存储工作,直接通过网络实时的接受数据并且实时的处理数据,然后直接网络实时的传回结果

2.Hadoop常用于离线的复杂大数据处理;Spark用于离线的快速大数据处理;Storm用于在线的实时大数据处理



版权声明:本文为yr123456yr原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。