服务能力|数据服务基础能力之元数据管理( 三 )


  • 解析能力:适配解析各种数据源特点 , 文件格式 , SQL脚本 , 抽象任务等 , 完成标准元数据的转换沉淀;
  • 类型识别:十分复杂的一个节点 , 类型在描述数据的时候至关重要 , 结构化存储可以直接读取 , 文件类结构通常需要类型转换标识 , 任务流程会直接统一管理 , 依次保证数据在不同环境中的合理存储;
  • 更新消息:业务的发展中 , 各种数据结构是频繁变动的 , 这就需要与元数据系统进行同步 , 通常要向消息服务(总线)发送通知 , 然后触发元数据更新动作;
核心能力:结构与类型识别解析、获取初始化数据 , 并且通过消息通知线路 , 完成动态更新流程的触发 。
3、元数据管理核心能力的打造 , 通常在系统初期都是围绕基本能力和业务需求的方向 , 以求快速落地实现 , 提供业务支撑能力;
  • 基础能力:标准化元数据结构 , 进行结构存储和可搜索能力实现 , 这个节点进行统一维护 , 数据类型识别和转换是至关重要的;补充说一句 , 在数据平台中 , 都会存在类型服务系统 , 以提供相应的识别能力和规范不同场景下的转换;
  • 实体与关系:数据业务中两个核心概念 , 实体必然由属性构成这是常说的 , 实体之间维护的关系:关联、、绑定、输出、输入等 , 是构建血缘关系和数据链路的核心标识;
  • 数据抽取:基于对元数据的组织和实体的定义 , 生成数据抽取规则 , 进而完成数据的快速获取 , 后续就是对接具体的业务 , 例如数据存储方式 , 搬运方式 , 最终落地业务线使用;
  • 可视化分析:包括数据质量分析 , 链路与周期分析 , 血缘分析等 , 这类功能一般在核心业务能力完成之后 , 会按需求等级 , 逐步迭代实现;
通过核心能力的建设 , 以求实现对数据的快速定位 , 高效管理 , 灵活应用的目标 , 提高数据服务能力的效率 , 适应业务发展的多变性 。