分布式计算:
集中式计算(通过不断增加处理器的数量来增强单个计算机的计算能力)
分布式计算(把一组计算机通过网络相互连接组成分散系统,然后将需要处理的大量数据分散成多个部分,交由分散系统内的计算机组同时计算,最后将计算结果合并得到最终结果)
Google(非开源):
MapReduce 分布式计算框架
GFS(Google File System) 分布式文件系统
BigTable 基于GFS的数据存储系统
Hadoop的衍生(开源):
MapReduce 分布式计算框架
HDFS 分布式文件系统
主流的三大分布式计算系统:Hadoop Spark Storm
1.Storm不同于Hadoop和Spark,其不进行数据的收集和存储工作,直接通过网络实时的接受数据并且实时的处理数据,然后直接网络实时的传回结果
2.Hadoop常用于离线的复杂大数据处理;Spark用于离线的快速大数据处理;Storm用于在线的实时大数据处理
版权声明:本文为yr123456yr原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。