分析型数据库 AnalyticDB学习 —-基本介绍
AnalyticDB简介
阿里巴巴自主研发的
海量数据实时并发在线分析
的云计算服务,可以在毫秒级针对千亿级数据进行多维分析和业务探索.具备海量数据的自由计算和极速响应能力(数据很多,反应很快,计算很快,可以处理高并发这个意思)
Analytic核心功能和特点
*Analytic核心功能
(1) 分档的储存
(2) 自由的查询
(3) 智能的优化
(4) 分层的安全
(5) 方便的接口
(6) 弹性的多租户
*Analytic特色功能
(1) 智能全索引
(2) 多值列
(3) 空间检索
(4) 海量dump
(5) 全文检索(ai分词,全文索引)
(6) 海量计算(图片处理)
*Analytic关键技术
(1) 列存
1. 优点: 分析统计性能、大宽表查询少量列时省IO
2. 劣势:数据分布分散时一次查询很多列浪费IO
3. 特色:聚集列(预排序)缓解劣势
(2) 分级存储
1. 高性能实例:查询性能快,并发能力强,存储成本高,适用于大量数据灵活分析,高并发查询等场景。
2. 大存储实例:存储成本很低,查询性能相对差,并发弱,适用于海量数据的查询明细,低并发较高延迟分析等场景
Analytic优点
(1) 超大规模集群
1. 支持2000+节点集群
2. 单表1pb数据量
3. 单表亿万记录的多表关联分析
(2) 高性能
1. 写入数据1秒内立即可查询分析,200万+/秒
2. 支持3万+的并发查询能力
3. 无需预先进行建模的情况下实现千亿数据秒级计算
4. 支持行列混存功能,支持表级别配置存储模式,优化查询性能
(3) 高可用、可靠
1.集群节点 active-active架构,任意物理机损坏,业务无感知运行,自动恢复
2. 无状态化设计,存储和计算分离
3. 数据双层冗余设计,数据可靠性99.9999%
(4) 功能
1. 文本分析。ali分词
2. gpu硬件加速:更高性能和更低成本
3. 向量分析:支持向量计算
Analytic使用场景
(1) app类型:查询简单,没有多表关联操作并且计算返回结果数据不多qps(单位时间内处理的流量,最大吞吐能力)较高,rt(响应时间)在500毫秒以下
(2) BI类型:实时数据仓库,一张事实表与多维度表进行join,较多的分组,排序操作qps较低,rt1000毫秒以下
(3) Adhoc类型:多张事实表进行join并进行分组,排序,或者返回大量结果,qps等于或者高于bi类型,平均在8000毫秒
版权声明:本文为nkym61原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。