元数据与元数据平台

(一)元数据的定义

如果按照传统的定义,元数据是关于数据的数据,是为了描述数据的相关信息而存在的数据,例如记录数据的存储位置、模型定义、生命周期、血缘关系等信息。
例如我们看一部电影,电影本身就是数据,那么元数据就是用来描述这部电影的数据。如下图所示:
在数据仓库体系中,元数据代表了一种统计数据从元数据、数据仓库到数据应用的全链路信息,记录了统计数据从产生到展示的全部过程。可以说,有了元数据,开发人员便可以方便的找到统计数据背后的计算逻辑与过程,用于指导开发工作并追踪数据问题,可以极大的提升工作的效率。
元数据按照用途的不同可以分为两个部分:技术元数据和业务元数据。技术元数据是存储关于数据仓库体系建设细节的数据,常见的用如下几种:
  • 存储信息:例如表名、字段名、字段备注、分区、责任人、文件大小、表类型、生命周期等;
  • 运行信息:例如Hadoop上运行MR的Job信息、实例名称、输入输出、运行参数、执行时间、优先级等;再例如Hive上运行的SQL内容、查询表名、扫描文件大小等;
  • 开发信息:例如数据开发方式、任务调度时间、上下游依赖、运行节点信息等;
  • 质量信息:例如运行状态、报警信息、质量评分等。
业务元数据记录了从业务角度所关心的数据信息,通常面向产品及运营人员使用,因而记录的信息是十分简洁易的,主要包括:
  • 数据信息:例如维度、字段涵义、安全等级、计算逻辑、指标定义等;
  • 应用信息:例如展示平台、应用产品等。

(二)元数据存在的意义

在传统意义上,元数据有两方面的用处:
  • 帮助数据平台了解自己本身的情况:例如我有哪些数据、我存储的数据有多大、如何找到我所需要的数据、我的数据何时产出等信息,当我们拿到这些信息后,就可以做对应的运维报警等工作;
  • 帮助数据平台制定数据统计的标准:例如数据口径如何统一、计算指标如何统一、数据之间的关系如何、数据的上下游关联数据是什么等信息,打通了上下游数据之间的关联关系,就可以为数据质量及维护可视化奠定基础。
可以说,元数据有重要的应用价值,对于数据管理,提供诸如计算、存储、成本、质量、安全、模型等方面有重大的利用价值。
阿里巴巴在OneData体系中,建设的相关平台是:数据地图。因为平台属于内部使用,因此不便于对外透露。但你可以设想一下,一个平台,拥有的数据表,在百万数量级,是一种怎样的体验。可以说,跨部门、跨平台之间的数据信息同步,基本上都是要数据地图平台来进行的,对于维护百万张临时表和几万张常用表来说,区分它们的安全级别、使用频率、重复性、数据质量等信息,真的需要一个团队去专门的维护。
数据地图在整个数据体系中,承担的是一种管理者的角色,通过图形化的方式来展示数据信息,并标明数据计算中所必要的各种信息参数,不仅数据开发人员可以使用,对于产品和运营来说也是非常友好的。它包含的内容有如下几个部分:
  • 快速的搜索定位:通过搜索引擎的方式来查找相关数据,支持精确查询、模糊查询、表名查询、字段查询、备注查询等方式;
  • 标准化的图形展示:采用图形化的方式来组织页面逻辑,例如采用类似Wifi图标的形式来标注数据质量级别,肉眼可见的便捷,方便使用者所需要的关键信息;
  • 积累历史数据信息:在很多场景下,历史数据是不需要重复计算的,直接拉取能够极大的避免重复开发。例如针对新用户的统计,可以拉取历史用户信息,和每日用户登录日志进行关联,用于生产每日新增用户;
  • 直接关联分析工具:因为数据的信息直接存储在平台上,因而可以调用报表插件来快速看到直观的报表信息,不需要二次加工开发,很大的提升了开发的效率。
数据平台本身仍在不断的完善和开发中,更多的功能和更强的能力会被开发出来,以上提到的是其中的几个场景。

(三)元数据平台该如何搭建

标准的建设思路图如下:
其实根据数据团队规模的不同,并不一定要建设如此复杂和精确的元数据平台,对于中小型团队而言,能够满足技术元数据的相关指标已经足够,完整的元数据平台投入的人力物力不是一般的大,并且通常情况下针对跨部门、跨业务线的合作,这种平台的价值才能被真正的提现出来。

首先要树立清楚自身的业务数据逻辑,例如在搜索统计中,针对CPM的统计有三种方式,分别为CPM1(搜索展现)、CPM2(广告展现)、CPM3(有广告的搜索展现),那么每一种的统计方式都要有定义,后续再理解指标概念时便不会有偏差。
其次要了解清楚底层数据的来源,例如网页日志分为哪几种,客户端日志是实时采集还是延迟采集,这对于保障数据的统一性而言非常重要。
再次要建立一批Dim信息表,这些表要记录每一种主属性所对应的其他维度信息,例如用户属性对应的有行业、客户类型、注册时间等信息,这些表是静态的,但需要有非常明确的定义和解释。
然后要做相关的指标采集,例如Hive表信息如何定时读取对应的Mysql库,例如每一个字段的定义是否有人工准确标注,例如表的运行情况能否从运维那里要一个接口来读取,例如表之间的血缘关系是否有闭环图检查等等。
最后还要有统一的对外接口,方便其他平台来读取和使用,例如实时平台来读取维度信息等。
<END>
继续阅读
阅读原文