关注云报
洞察深一度
2021年11月30日21时53分,西藏那曲市双湖县发生5.8级地震,震源深度10千米。
此时,远在3500多公里之外的北京中国移动大数据中心里一片忙碌。为响应上级部门的救援号召,中国移动在20分钟内,对震区内804个基站的数据进行分析,迅速完成了震中100公里范围内的人员分布情况统计,精准识别出震前3小时内共计38760名流动人员的分布信息,很好地辅助政府进行精准救援。
事实证明,数据能防灾,数据也能救人,大数据科技确确实实在惠及越来越多的行业、家庭乃至个人。
中国移动
大数据基础设施创新样板
在中国移动大数据中心,中国移动大数据平台部副总经理陈卓介绍了灾害影响人员分析平台:“基于大数据系统强大的分析能力,我们可以对震中方圆5公里、10公里、20公里、50公里及100公里5个不同空间维度的人员位置进行检索。当前,
大数据中心每日可以处理PB级的海量人员分布数据,实时处理能力达到每秒3000万条信息,相当于一秒钟处理1500万手机用户产生的通信数据
。”
在我们的日常工作和生活中,大数据技术的应用已经无处不在。比如,我们通过手机上的“通信大数据行程卡“,可以查询行程;通过实时分析不良信息数据样本,可以有效实施反电信诈骗,第一时间发布风险提醒……这些都离不开高效的数据分析和强健的大数据系统。
其实很多行业都有类似电信运营商的需求,即做到数据分析既精准又实时。为此,一方面,要打破数据仓库和数据湖之间的隔离,实现数据的大融合;另一方面,要把分散在各处的数据收集起来,就近处理,随取随用。中国移动在大数据应用方面的探索值得借鉴,
中国移动与华为进行联合创新,将基于分布式存储的统一元数据管理、近实时数据处理等新技术应用于系统中。
另外,中国移动早期的大数据系统,数据分析与存储是紧耦合,当数据量增加时,计算和存储只能同时扩容,造成资源不匹配。这种一体化的解决方案在面对今天体量更大、实时性要求更高的数据处理要求时,就显得捉襟见肘。为此,从实际业务需求出发,
中国移动与华为共同设计出一套新的基础设施架构,基于华为OceanStor Pacific系列分布式存储构建大数据存算分离方案,将计算与存储解耦合,实现了算力不足扩计算、容量不足扩存储
。在这套创新的架构上线后,中国移动大数据中心曾经算过一笔 账,包括机柜、服务器、电费等在内的软硬件整体拥有成本节省了40%,年碳排放量可减少50%以上。
中国移动通过技术创新,构建起数据产生、获取、存储、分析全方位一体的大数据体系,显著提升了资源利用率,用更少的设备处理更多的数据,从而更好地支持业务创新。在这个过程中,华为的大数据存储及解决方案成了数据基础架构层面的核心支撑。
存算分离
推动大数据存储持续升级
如今,大数据战略已经上升为国家战略。尤其是在数据被明确为五大生产要素之后,人们对于大数据处理的必要性和重要性已经有了十分清楚的认知,而且大数据应用确实在很多行业快速落地和推进。但是,我们也必须清醒地认识到,当前大数据应用在我国仍然处于初期阶段,无论是应用的广度和深度都有待进一步增强。特别是在大数据存储这一关键环节上,要随着理念、技术的升级,不断优化和创新,就像中国移动那样,要将大数据技术与具体的应用场景相结合,构建适合自己的存储场景化解决方案。
从国家层面看,已经在“十四五”规划中明确提出,系统布局新型基础设施,加快第五代移动通信、工业互联网和大数据中心等的建设。今年,国家也出台了一系列文件、政策,鼓励推动全国一体化大数据中心协同创新体系算力枢纽的建设,这对于大数据存储来说,既是机遇更是挑战。如何更好地满足大数据量、实时性、异构化、安全性等方面的应用需求,成了大数据存储厂商必须突破的难点。
特别需要指出的是,大数据并不仅仅是体量大、数据类型多样,难点也并不仅仅是如何存储好数据,而是如何让数据更好地流动起来,并对其进行深入的挖掘、分析,为智能化的决策、运维和应用服务,最终实现大数据变现。从这个角度来说,大数据存储厂商不仅要满足最基本的快速、安全地存储海量数据的需求,更要为接下来的数据分析和智能应用铺好路。中国移动之所以联合华为进行大数据解决方案的创新,初衷正在于此。
作为存储来说,最重要的还是先为大数据提供性能和功能强大、安全且可靠的数据基础设施。由于传统的一体化大数据建设方案,存在数据存储成本高、调度周期长、数据流动困难等一系列问题,而突破上述瓶颈的关键就是实现计算与存储的分离。这也是被中国移动成功实践所证明的。
从创新的角度,华为专为海量数据场景设计的
分布式存储OceanStor Pacific系列在存储层实现了原生HDFS语义,无需安装插件,也无需应用改造、数据迁移,即可平滑地实现大数据的存算分离
,同时通过存算协同,帮助企业解决了数据“存不下、流不动、管不好”的问题。
从架构的层面来看,计算与存储分离可以有效降低整体拥有成本(TCO)。其优势主要体现在:计算存储分离可以轻松实现资源按需扩展;弹性EC(Erasure Coding,纠删码)替代了多副本,资源利用率提升1.75倍;采用5U、120盘位的极致存储密度设计,可节省62.5%的存储空间。总之,计算与存储分离为大数据存储带来了灵活应变、绿色环保、面向未来的能力。
从存算协同的角度来看,数据融合可以有效提升数据分析的效率,具体表现在:华为OceanStor Pacific系列只用一套统一的存储,便可支持多种协议,实现存储资源的共享;同理,一份数据也可以同时支持多种协议访问,避免了数据迁移;此外还实现了冷热数据的分级存储,在数据的全生命周期内实现了自动化的管理,有效降低成本。
从数据安全性和可靠性的角度来分析,OceanStor Pacific系列也独树一帜,比如采用多故障域,每域能够支持4节点同时失效而业务不中断,更好地保障了存储可用性;存储设备中的数据可以快速重构、极速恢复;采用全面的亚健康检测与预处理机制,能够防患于未然,进一步提升整个系统的安全性。
基于上述分析可以看出,华为OceanStor Pacific系列大数据存算分离方案完全可以满足不确定性、复杂性和多元性激增时代,应需而变的海纳能力,为释放数据智慧保驾护航。如今,该系列方案已广泛应用于金融、政府、互联网、电信等行业,成为行业大数据平台建设的首选。比如,通过其多协议融合,可有效提升数据分析效率,算得更快,从而助力企业的经营分析;再比如,基于计算存储分离,打破数据存储的壁垒,加速数据流动,支撑“兴业、惠民、善政”的政务大数据平台建设;还有在金融领域,通过计算与存储的弹性伸缩,可大幅缩短新应用上线周期,实现精准营销,并支持以用户体验为中心的金融业务快速创新。
未来可期
大数据价值日益凸显
推动大数据技术产业创新发展,构建以数据为关键要素的数字经济,运用大数据提升国家治理现代化水平,同时运用大数据促进保障和改善民生,切实保障国家数据安全,是大数据未来的发展方向。
而若要实现上述目标,就必须找到大数据技术和应用落地的路径和方法。比如,将大数据技术与网络技术、人工智能等技术相结合,不断演进升级;持续拓宽行业应用面,推动大数据技术与不同行业业务场景的适配、深度融合;完善数据共享开放机制,更有效地实现数据治理;建立成熟的产业生态,指引和推动大数据产业的健康有序发展。
今年11月25日,上海数据交易所正式揭牌成立。这是大数据应用领域又一里程碑事件和风向标。加快培育数据要素市场,促进数据流通交易,将是大数据应用的一个重要演进方向。确保数据流通和交易过程中的安全、可靠,不仅要依靠政策、法规、监管等方面的努力,更要夯实存储这一基石,从根本上保证数据的安全、合规、可用。以存算分离为创新的起点,针对不同行业场景的需求,为数据的流通、交易和变现创造安全、可靠的环境,这是大数据厂商面临的新挑战。
华为OceanStor Pacific系列,我看好你哟!
欢迎扫码关注云报