新一代|数据爆炸时代,中兴通讯的破局

我们正处于数据爆炸的时代,根据IDC的报告,到2025年全球数据总量将达到163ZB,其中企业占比将达到60%。伴随着数据总量的爆炸,大数据、AI等数据挖掘以及分析技术的迅猛发展使数据显现出了越来越大的价值。
不仅如此,随着海量数据的产生,被存储的数据比例也越来越高,甚至有大量原先很少被访问的数据也被挖掘出了新的价值,使得它们能为用户或者企业创造更多利益和价值。当然,这种巨大的变化对数据存储系统的容量以及访问性能都提出了新的挑战,数据存储亟需找到一种新的方式来承载这些“意外”的价值点。
伴随着软件定义、云化等IT基础设施的深刻变革,分布式存储系统应运而生。但即便如此,存储性能、效率等方面依然存在不足,为满足各行业不同应用场景对于存储性能和效率的高要求,存储方案仍需不断变化和革新。
新一代|数据爆炸时代,中兴通讯的破局

溯源,分布式存储的发展历程
存储系统本质上是一种特殊的计算机系统,因此存储系统的发展要基于IT基础技术,特别是存储介质和网络技术的发展。
20世纪80年代RAID技术诞生,随着企业信息化应用的发展,外置存储成为大规模数据存储的主要形态。然而受制于介质密度和网络性能,在其后二十多年间,外置存储的主流形态是软硬一体的专用设备(集中盘阵),而无法使用通用服务器(COTS)硬件。
2010年前后,随着网络和存储介质基础技术的不断进步,基于通用服务器来构建分布式存储系统逐步开始变成现实。与集中盘阵系统相比,分布式存储系统不再依赖专用硬件,而是使用通用服务器作为存储节点,以较低成本实现了大容量存储,配置也更为灵活;在扩展性方面,分布式存储可利用高速网络搭建存储集群,性能和容量水平扩展不再受控制器性能的制约;同时,分布式集群多节点数据分布提高了系统整体可用性和数据可靠性。基于其低成本、大容量、高灵活性等特质,人们开始愈发青睐分布式存储的解决方案,因此它也在视频存储、云计算等领域得到了广泛应用。
新一代|数据爆炸时代,中兴通讯的破局

新一代|数据爆炸时代,中兴通讯的破局

困境,主流分布式存储面临的问题
虽然分布式存储相比盘阵系统有诸多优势,但当前主流分布式存储架构存在的一些短板,使得分布式存储产品在性能、空间利用率等方面存在不足,从而影响了分布式存储系统的市场竞争力和接受程度。
主流分布式存储系统基于本地文件管理系统,IO路径过长,从而造成了IO时延较大、处理开销过高等问题,尤其在全闪配置下无法有效发挥全闪配置的优势。这使得分布式存储系统在极低时延、极高性能的关键业务场景下缺乏竞争力。
同时主流分布式存储系统还存在软件栈过深,难以适应如RSD、分离架构等硬件的弱点,使得分布式存储还无法完全替代盘阵系统。
此外,为了减少元数据量,提升分布式存储系统的集群规模,主流分布式存储系统往往选择DHT机制来控制数据分布。而不同类型的数据,以及处于生命周期不同阶段的数据,对性能和存储成本要求不同,因此在实际应用中,数据存储的持续高性价比要求数据可以灵活流动。DHT机制下数据分布较为僵化,无法灵活控制数据分布,数据难以流动,从而导致存储空间和性能瓶颈,以及存储成本的上升。
中兴通讯基于全新架构的新一代分布式存储系统很好的解决了上述架构问题,向市场交出了令人满意的答卷。
新一代|数据爆炸时代,中兴通讯的破局