元数据
文章概述
1.搞清楚什么是元数据
2.元数据的构建
3.元数据的作用
4.元数据的实战
1.搞清楚什么是元数据
百度元数据，结果估计是，不包含数据的数据。比较抽象
我们在使用hive的时候，经常把元数据配置在mydql中，打开来看它存储的是表的信息，数据的存储信息。此时可以理解为元数据服务于我们要使用的数据
然后我们来看一张图，此时，对元数据应该有更全面的认识
先引入几个新的概念
1.实体：概念明确的客观实体或者抽象实体
2.属性：构成实体的参数
3.域：某一数据类型，限定了数据值的类型
元数据服务于实体，描述实体的部分属性，对属性的“域”做限制，对属性加以说明
2.元数据的构建
1.元数据的分类，根据元数据在数据仓库中承担的职责，大致分为两种，静态元数据与数据的结果有关，动态元数据和数据的状态，使用方法有关（包括数据质量，统计信息等）
(1)静态元数据
①名称
②格式
③数据类型
④关系描述
⑤来源
⑥索引
⑦业务规则
⑧创建时间
(2)动态元数据
①入库时间
②更新周期
③数据质量
④统计信息
⑤存储大小
⑥引用处
⑦状态
2.元数据在数仓中的构建
(1)明确功能
①描述哪些数据在数仓中
②定义输入数仓和输出数仓的数据
③记录业务发生的时间和etl的时间安排
④记录检测数据一致性的要求和执行情况
⑤衡量数据质量
(2)元数据平台构建
①元数据获取
1)分析各方的需求，来自于具体的应用和用户的具体需求，相关部门的标准，具体的任务调度需求
2)从数据挖掘系统中获取，1来自于数据上游的话，2来自于下游
②元数据的集成：将不同渠道获取的数据集成
③元数据的存储和维护
1)存储在数据库或者文本中
2)应该具有crud的功能
3)及时根据上下游的具体状态做出更新
3.元数据的作用
1.改善与系统的交互
元数据中包含系统使用的方法，业务规则，术语，查询和报表等详细说明。方便了使用者的对于系统的操控
2.提高数据质量
利用元数据来解释数据的来源，操作意义及质量
3.支持系统集成
异构数据库和信息系统的集成，多数据源之间的协同工作，都可以通过元数据来进行协调
4.支持系统的分析，设计和维护
通过对数据来源，操作意义的解读，增加了应用开发过程的可控性和可靠性