大数据架构简述(一):大数据的本质

  • Post author:
  • Post category:其他


1.大数据是什么


大数据由SCI的首席科学家JohmR.Masey于1998年在USENIX大会上首次提出。他在其发表的一篇名为Big Dara and the Next Wave of Infrastress的论文中首次提出Big Data这个词。


Google在2003-2006年公布的关于GFS、MapReduce和BigTable的三篇论文推动了Hadoop的实现,而Hadoop的诞生极大促进了大数据技术的发展。


当然,Hadoop并不等同于大数据。


大数据只是一门市场语言,代表的是一种理念、一种问题解决的思路、一系列技术的集合。


2.运营商大数据架构



运营商大数据架构如图所示


第一层是应用,在运营商领域分别解决SQM(运维质量管理)、CSE(客户体验提升)、MSS(市场运维支撑)、DMP(数据管理平台)等问题


第二层是各个组件/技术支撑。包括数据从产生获取、处理(实时、批处理)、分析(交互式查询、机器学习与数据挖掘)到最后的展示


第三层,为了支持数据的存储处理,需要统一的资源管理及分配


第四层,上层框架和处理都构建在存储的基础上,所以存储是基础中的基础


第五层,大数据部署形态有云化部署、物理机部署等多种部署模式



版权声明:本文为u013547284原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。