服务能力|数据服务基础能力之元数据管理( 三 )
- 解析能力:适配解析各种数据源特点 , 文件格式 , SQL脚本 , 抽象任务等 , 完成标准元数据的转换沉淀;
- 类型识别:十分复杂的一个节点 , 类型在描述数据的时候至关重要 , 结构化存储可以直接读取 , 文件类结构通常需要类型转换标识 , 任务流程会直接统一管理 , 依次保证数据在不同环境中的合理存储;
- 更新消息:业务的发展中 , 各种数据结构是频繁变动的 , 这就需要与元数据系统进行同步 , 通常要向消息服务(总线)发送通知 , 然后触发元数据更新动作;
3、元数据管理核心能力的打造 , 通常在系统初期都是围绕基本能力和业务需求的方向 , 以求快速落地实现 , 提供业务支撑能力;
- 基础能力:标准化元数据结构 , 进行结构存储和可搜索能力实现 , 这个节点进行统一维护 , 数据类型识别和转换是至关重要的;补充说一句 , 在数据平台中 , 都会存在类型服务系统 , 以提供相应的识别能力和规范不同场景下的转换;
- 实体与关系:数据业务中两个核心概念 , 实体必然由属性构成这是常说的 , 实体之间维护的关系:关联、、绑定、输出、输入等 , 是构建血缘关系和数据链路的核心标识;
- 数据抽取:基于对元数据的组织和实体的定义 , 生成数据抽取规则 , 进而完成数据的快速获取 , 后续就是对接具体的业务 , 例如数据存储方式 , 搬运方式 , 最终落地业务线使用;
- 可视化分析:包括数据质量分析 , 链路与周期分析 , 血缘分析等 , 这类功能一般在核心业务能力完成之后 , 会按需求等级 , 逐步迭代实现;
- 创业|八成互联网电视非法采集用户数据, 彩电企业怎么办?
- 新书推荐 │ 大数据算法设计与分析
- 疫情期间获近亿元A轮投资,青浦这家企业数字化服务商乘“长三角数字干线”发展快车逆势上扬
- 传感器|标配大底传感器,价格却仅需2000元左右,拍摄能力强,性能体验好
- |一招教你入门数据可视化!
- 固态硬盘|PCI-E 4.0新选择,西部数据WD_BLCK SN770固态硬盘体验
- 原神|原神:说好数据互通的,为什么自己不能用电脑玩?多数人都没注意
- 客户端|多平台分析618数据,看清家居人未来方向!
- 芯片|芯片数据出炉!情况出现反转,美企们坐不住了
- 网络安全|数据安全的三大特性!重要性和意义!
