大数据|Snowflake 如日中天是否代表 Hadoop 已死?大数据体系到底是什么?( 五 )


对比第一代与第二代元数据系统:

展望未来 , 我们看到可能的发展方向/趋势主要有:
1.趋势一:湖仓一体进一步发展下 , 元数据的统一化 , 以及对湖上元数据和数据的访问能力建设 。 如基于一套账号体系的统一的元数据接口 , 支持湖和仓的元数据的访问能力 。 以及多种表格式的ACID的能力的融合 , 这个在湖上数据写入场景越来越丰富时 , 支持Delta , Hudi , IceBerg表格式会是平台型产品的一个挑战 。
2.趋势二:元数据的权限体系转向企业租户身份及权限体系 , 不再局限于单个引擎的限制 。
3.趋势三:元数据模型开始突破关系范式的结构化模型 , 提供更丰富的元数据模型 , 支持标签 , 分类以及自定义类型和元数据格式的表达能力 , 支持AI计算引擎等等 。
本文详细阐述了后红海时代 , 当下大数据体系的演进热点是什么 , 以及大数据体系下部分子领域架构的技术解读 。
限于篇幅原因 , 更多大数据体系子领域的技术解读将在下篇文章继续展开 , 并阐述大数据体系未来演进的技术趋势 , 以及仍待探索的未解问题 。
作者 | 阿里云计算平台研究员关涛、阿里巴巴项目管理专家王璀
【大数据|Snowflake 如日中天是否代表 Hadoop 已死?大数据体系到底是什么?】本文为阿里云原创内容 , 未经允许不得转载 。