全链路数据治理案例分析

  • Post author:
  • Post category:其他


e1483ee3284fb387008bede5a4218fa8.png

本文为作者首发投稿

c6e9717dfa90c4b72846a0724790cc87.png

c16e2e45d07e22663365766ce4c43535.png

7272bf09e4d6465b3e124a7052620165.png

b03b54838a25a5cf56ce0839747ca7c5.png


现状分析


To 管理者

1: 成本不断增大,不知道哪个业务域耗费成本高,一天仅离线存算资源成本上10万

2: 尽可能少动用资源情况下,降低存算资源成本


TO 分析师

1: 中间表信息碎片化,很难找到有用的中间表信息作为数据应用的底表。

2: 无法衡量数据报表的使用情况。


TO 数仓开发

1: 由于缺乏文档沉淀,对于新人很难知道中间表被哪些数据应用使用,不敢轻易更改


TO 业务开发以及运营

1: 很难找到数据平台有用的数据,只能通过线下咨询分析师或者特定数仓开发人员,流程便利差

总结:一锅烂账,全靠人肉

cf2574906c74118d5cf5100d2f318370.png

8d7f535787a05a99dbd9a908876123e7.png

33efe217e353a3cdcac25318f9e6e1d2.png

07ffd6564d08540f9352c5af7a8b1746.png

bcbb8f6011a59565e0b65b7cec26210f.png

281ff383e95fd3481a55e831e3ff3d06.png

9c2bbbe58e7cb8fd248fca3605106f61.png

5917335a9c6c1a1bcafafcf5bb48bc24.png

55351cb94771321c4501f69f7f69edc5.png

ad78f043f93a5c1f0e4da1ec6e1d4349.png

e6f368d306db3b837b642184a0bf87f9.png

2742eaf01183d95b7bd04b97a8d64e81.png

afce9614fa1d062496be68e7ef20741e.png

1f7462b661aac1a6a31f8c80d2fb03d3.png

404b29b881255011ed3ec2b45202aacb.png

8d9498ff6064b511b90b515b5aeab4c2.png

894a8ee06758d70526e7204c65f9b54b.png

aaddbcaf71ee4a2c1b3863b9b363d7ab.png

5ac03df3174e262ca2d7aa7b69356e5c.png

3d9d08f861fa86a6854ffad95e1db75e.png

2342f1b162721a390bb2c1d7f3b5b838.png

246c7a2216ae535c6c574f7bacc47dd1.png

2610a7176d6cb16f289f93412b105d4d.png

8d40f1d71251f7bd3edbb35a1b54566a.png

65ff398cf9eb8871ce3baff99db82aa2.png

作者履历:

京东

交易平台架构师(2014-03)

主要工作:

1: 负责京东优惠券,订单中 心,评价等核心应用

2:参与京东多次618,双11 大考,大考期间丝般顺滑

阿里巴巴

技术专家(2017-02)

主要成果:

1: 负责菜鸟末端履行平台,平台承载中国末端1/4包裹单量

2:经历多次618、双11 大考,其 中最高峰QPS 上千万

永辉云创

合伙人 (2019-04)

1:数据中台建设

2:供应链控制塔搭建,为供应链链条降损耗

得物

数据平台高级专家 (2020-12)

负责大数据平台基础设施


下载本pdf,请在公众号后台回复:


数据治理


往期推荐:


技术琐话

以分布式设计、架构、体系思想为基础,兼论研发相关的点点滴滴,不限于代码、质量体系和研发管理。

1f596ceb98052f20b3e04eef9c2758ad.png



版权声明:本文为u013527895原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。