博客

大数据总介

我们通常说的大数据，包括大数据本身和基于大数据的系统和技术。


大数据的5V特点（IBM提出）：



Volume



（大量）、



Velocity



（高速）、



Variety



（多样）、



Value



（价值）、



Veracity



（真实性）。


而基于大数据技术的应用层级分商业智能，和平台解决方案两种。

• 
  平台解决方案：偏技术层，基础层，解决数据处理，存储，清洗，收集，api提供，系统调度等操作
  
• 
  商业智能：分析，过滤，可视化，推荐，数据挖掘，机器学习等
  

公司里，一个完整的大数据系统为三大块：收集,存储，处理，各个系统之间交互都存在过滤，时间性和一定的容错机制

(1)平台层：为大数据存储和挖掘提供大数据存储和计算平台，为多区域智能中心的分析架构提供多数据中心调度引擎;

(2)功能层：为大数据存储和挖掘提供大数据集成、存储、管理和挖掘功能;

(3)服务层：基于 Web 和 Open API 技术提供大数据服务。

其中功能层位于平台层之上，类似mvc中dao和service关系。一个分布式的平台层，和完善的功能层，才能为上层的业务提供可靠的服务。而根据不同的系统特点，选择不同的技术架构，是重中之重。

华为的Fusion系统：

各系统功能

1. 平台层