服务能力|数据服务基础能力之元数据管理

文章图片

文章图片

一、业务背景1、应用场景在多变的数据服务场景中，应用中常见如下的业务需求，通过对多种数据结构的灵活组合，快速实现业务模型构建，整体示意图如下：

像常用的画图工具，左边提供基础图形库，中间是画布，右边是组件的控制细节，对比到这里的逻辑如下：

字段面板：提供业务数据结构的字段映射，和常规字段类型配置，用来支撑组合面板的表单配置。

数据结构：对现有业务结构做映射，可能是文件、数据表、JSON等，生成相对标准的字段选项；
拓补字段：维护一批基础的字段类型，用来做拓补操作，完善整个业务结构；

组合面板：承载字段的组合管理，生成新的数据结构，根据业务场景，完成底层数据的抽取存储或者API服务生成。

【服务能力|数据服务基础能力之元数据管理】业务主体：通过业务需求的判断，明确面板支撑的业务属性，通过基础结构组合新的业务主体；
组合结构：面板上呈现的字段，是多个业务结构的抽取，即不同业务结构中的部分字段组合；

规则面板：对组合面板上字段进行规制设定，常见涉及：描述，类型，默认值等，对面板字段进行相对统一的标准化管理。

描述信息：对于组合面板上的字段描述，也可以是原有映射的结果，作为新业务主体的属性说明；
类型维护：复杂的环节，不同数据类型在不同的存储中处理方式不同，需要统一维护类型存储映射；
业务规则：对于新的业务主体，设置属性的规则，可以是：唯一性，默认值，等等；

2、构建服务基于上述功能的实现，可以快速实现以下服务能力，通常应用在业务多变的场景中：

数据主体构建：通过组合面板的结构生成，快速完成相关数据的抽取和存储，作为新的业务场景中的主体数据。
服务API生成：在数据服务中，直接通过配置，生成API服务能力，并控制参数的响应结构，这种情况通常会以实时查询的方式处理。
数据智能分析：在数据分析场景中，侧重统计的结果，基于字段和图表结构，生成相应的统计分析任务，灵活管理分析报表。

这里是简述相对单一的应用服务，如果把这里的流程分段放大，在整个数据服务体系下，就是围绕元数据管理的复杂的基础系统：围绕数据结构映射，进行元数据标准化管理，在此基础上二次组织数据，快速响应业务需求。在这样的流程下，可以快速建立业务链路，提供高效的服务能力，降低试错的成本。
二、元数据概念1、基础描述从定义上说，元数据(Metadata)即描述数据的数据，但是在实际使用的时候，还是存在很多细分的概念，看下面的案例：用户性别；

从细分角度看，可以对上面数据进行两块划分，即业务层与技术层：

业务层：名称.释义.说明.值类型;
技术层：路由库.路由表.存储类型.值类型;

这里的分层只是描述的侧重点，业务层偏向应用端，技术层偏向底层系统的交互和实现，在对性别的描述上都是核心维度。