大数据|Snowflake 如日中天是否代表 Hadoop 已死？大数据体系到底是什么？( 二 )

（图：三种大数据体系架构）
1.2 数据管理角度，数据湖与数据仓库融合，形成湖仓一体
数据仓库的高性能与管理能力，与数据湖的灵活性，仓和湖的两套体系在相互借鉴与融合。在2020年各个厂商分别提出湖仓一体架构，成为当下架构演进最热的趋势。但湖仓一体架构有多种形态，不同形态尚在演进和争论中。
(图：数据湖与数据仓库借鉴融合)
1.3 云架构角度，云原生与托管化成为主流
随着大数据平台技术进入深水区，用户也开始分流，越来越多的中小用户不再自研或自建数据平台，开始拥抱全托管型（通常也是云原生）的数据产品。 Snowflake作为这一领域的典型产品，得到普遍认可。面向未来，后续仅会有少量超大规模头部公司采用自建（开源+改进）的模式。
(图：snowflake的云原生架构）
1.4 计算模式角度， AI逐渐成为主流，形成BI+AI双模式
BI作为统计分析类计算，主要是面向过去的总结；AI类计算则具备越来越好的预测未来的能力。在过去五年中，算法类的负载从不到数据中心总容量的5% ，提升到30% 。 AI已经成为大数据领域的一等公民。
二、大数据体系的领域架构在前文(#1.1)介绍的Shared-Nothing、Shared-Data、Shared-Everything 三种架构中，笔者经历过的两套体系（微软Cosmos/Scope体系，和阿里云MaxCompute）均为Shared-Everything架构，因此笔者主要从Shared-Everything架构角度，将大数据领域分成6个叠加的子领域、3个横向领域，共9个领域，具体如下图。
(图：基于 Shared-Everything 大数据体系下的领域架构)
经过多年的发展，每个领域都有一定的进展和沉淀，下面各个章节将概述每个子领域的演进历史、背后驱动力、以及发展方向。
2.1 分布式存储向多层智能化演进
分布式存储，本文特指通用大数据海量分布式存储，是个典型的带状态（Stateful）分布式系统，高吞吐、低成本、容灾、高可用是核心优化方向。（注：下述分代仅为了阐述方便，不代表严格的架构演进。）
第一代，分布式存储的典型代表是谷歌的GFS和Apache Hadoop的HDFS ，均为支持多备份的Append-only文件系统。因HDFS早期NameNode在扩展性和容灾方面的短板不能充分满足用户对数据高可用的要求，很多大型公司都有自研的存储系统，如微软的Cosmos（后来演进成Azure Blob Storage），以及阿里巴巴的Pangu系统。 HDFS作为开源存储的奠基，其接口成为事实标准，同时HDFS又具备支持其他系统作为背后存储系统的插件化能力。
第二代，基于上述底盘，随海量对象存储需求激增（例如海量的照片），通用的Append-only文件系统之上，封装一层支持海量小对象的元数据服务层，形成对象存储（Object-based Storage），典型的代表包括AWS S3 ，阿里云OSS 。值得一提的是， S3与OSS均可作为标准插件，成为HDFS的事实存储后端。
第三代，以数据湖为代表。随云计算技术的发展，以及（2015年之后）网络技术的进步，存储计算一体的架构逐渐被云原生存储（存储托管化）+ 存储计算分离的新架构取代。这也是数据湖体系的起点。同时因存储计算分离带来的带宽性能问题并未完全解决，在这个细分领域诞生了Alluxio等缓存服务。
第四代，也是当下的趋势，随存储云托管化，底层实现对用户透明，因此存储系统有机会向更复杂的设计方向发展，从而开始向多层一体化存储系统演进。由单一的基于SATA磁盘的系统，向Mem/SSD+SATA (3X备份)+SATA (1.375X为代表的EC备份)+冰存储（典型代表AWS Glacier）等多层系统演进。