云原生|Confluent上市与Cloudera私有化背后：从硅谷大数据公司的势力更替看数据分析的未来( 三 )

同样是硅谷热门的大数据公司Databricks，其提供的是一个云上的面向数据分析师和数据科学家的大数据分析平台，用户可以通过Databricks在云端环境中实施整个大数据方案，从数据提取、数据转换、交互式处理，到数据产品等。Databricks底层计算使用Spark，存储使用Delta云存储服务，支撑了企业在云端对各种结构化、半结构化和非结构化数据的分析。
国内厂商中，源自Apache Kylin的大数据管理和分析平台提供商Kyligence也是一个典型的案例。据Kyligence联合创始人兼CEO韩卿表示，公司在成立之初产品是基于Hadoop架构的，但在2018年左右，公司敏锐地预判到客户的需求逐渐在往云原生、存储计算分离的方向上发展。因此Kyligence对原有产品架构做了一些新的设计，在2019 年推出了完全脱离Hadoop平台的云原生产品Kyligence Cloud，其底层使用了云原生架构，存储使用云厂商的对象存储，计算使用Spark+容器化，资源可以直接对接云平台的IaaS服务和ECS。Kyligence Cloud通过多维数据立方体（cube）预计算、分布式聚合索引和云原生弹性架构结合，不仅显著简化了云上数据仓库和数据湖的数据处理和分析工作，同时也大幅降低了企业使用云分析的成本。因此，Kyligence Cloud获得了诸如UBS等国内外头部公司的认可和采用。
可以看到，云原生架构的浪潮已经到来。总结起来，云原生架构之所以在当下被越来越多地采纳，主要在于其三方面的显著优势：弹性伸缩、低成本和敏捷性。

文章插图
首先是云原生架构为数据分析带来的弹性伸缩能力。因为云原生架构可以轻松实现计算和存储资源的分离，企业可以做到按照实际需求分别购买存储和计算资源，并随启随停，真正实现按照资源消费量来付费，与此同时，在云端的扩容也可以在几分钟内完成。这种使用方式极大地优化了企业对资源的使用效率，降低了使用成本。
其次，云原生架构也极大地降低了企业的运维成本。因为在云原生架构下，云厂商提供了完整的IaaS基础设施，省去了企业硬件投入和运维工作的同时，企业也能充分运用IaaS的底层分布式框架实现各种操作，从而大大降低系统复杂性，提高系统运行效率。
最后是敏捷性。随着企业数字化和智能化应用的深入，云原生架构弹性伸缩、存算分离支撑下的按需付费特性，能够让企业花费很少的成本先尝试新应用。如果应用效果好，企业可以在此基础上加大投入继续推进；如果方向出现问题，企业可以及时停止项目，沉没成本能够控制在很低的水平。这样的敏捷性很好地支撑了企业去尝试各种新的数据应用，从而增强了企业的竞争优势。
03 云原生时代，新一代数据分析平台将具备哪些特征？基于对企业数字化转型与数据分析需求的趋势判断，并结合领先大数据公司在产品设计上采取的技术路线，可以看到，以云原生架构为基础的全新的数据分析平台将成为未来的主流。云原生特性作为技术架构层面的变化，也将为企业数据分析应用带来更多的可能。对此，爱分析从技术、数据架构和商业模式三个维度总结了下一代数据分析平台将具备的特征。
从技术维度，下一代数据分析平台将会具备云原生、存算分离、容器化和自动化四个特征。
1）云原生。随着云计算的逐渐普及，企业上云步伐的加快，企业主要的IT基础设施都将部署在云端，因此数据分析平台以及数据的分析和应用都将主要在云端进行。
2）存算分离。随着企业对数据分析应用需求的持续增加，计算资源的扩展需求进一步增长，存算分离的价值也将凸显。企业可以按需对存储和计算资源在云端分别进行扩容，由此能够以很低的成本获得近乎无限的算力。