游乐游手机版
首页/AI热点日报/热点详情

企业级AI存储VAST Data技术架构的全面深度解析上篇

类型:热点整理2026-05-30
近期业内流传一则消息:VAST Data已占据约6%的全闪存存储市场份额。这一数字颇为引人深思——在存储行业,6%通常代表着第二梯队的中坚力量,但VAST Data这个品牌,此前不少从业者还相当陌生。 然而,IDC很快对此进行了澄清与反驳。从本质上看,VAST Data仍属于存储软件公司,要与传统存

近期业内流传一则消息:VAST Data已占据约6%的全闪存存储市场份额。这一数字颇为引人深思——在存储行业,6%通常代表着第二梯队的中坚力量,但VAST Data这个品牌,此前不少从业者还相当陌生。

AI存储之VAST Data分析 上篇

然而,IDC很快对此进行了澄清与反驳。从本质上看,VAST Data仍属于存储软件公司,要与传统存储巨头直接竞争全闪存营收,确实存在一定差距。

尽管如此,这一传闻成功激发了业界对VAST Data的关注。加之AI市场持续火热,以及融资动态、升级为AI基础设施、云部署等新闻接连传出,越来越多的人开始探究这家独特的存储厂商。

VAST Data设计理念

传统存储市场,主要承载数据库与虚拟机等工作负载,因此块存储长期占据主导地位。过去数年间,块存储市场份额一度超过80%。进入云存储时代,格局发生显著变化:对象存储伴随互联网应用场景兴起,与块存储平分秋色,各自占有30%-40%的市场份额。然而,无论市场如何演变,NAS(文件存储)始终处于相对边缘的位置。

然而进入AI时代,形势开始逆转。为满足AI框架在数据加载和检查点(checkpoint)方面的性能与业务需求,许多存储系统被紧急从HPC领域调拨过来,以弥补传统对象存储性能和功能上的不足。

每一次存储市场的应急调整,都蕴含着新的机遇。

VAST Data从存储起步,与传统存储相比,主要在以下几个方面存在显著区别:

第一,专注全闪存架构。VAST Data放弃了HDD机械硬盘,完全围绕闪存和SCM(存储级内存)进行设计。这与Intel DAOS的思路相似,但DAOS是Intel为推广自家SSD+SCM而推出的。那么,VAST Data凭借什么脱颖而出?

第二,架构革新。VAST Data充分利用SCM介质特性,摒弃全局缓存,所有数据持久化且全局共享(通过NVMe-oF网络)。后端所有SCM和SSD,以及前端所有计算节点,均可平等访问。这彻底颠覆了传统存储系统的分布式缓存设计(即Shared-Everything模型,尽管VAST自创了此术语,国内部分厂商也在跟随)。真正实现线性扩展——性能与容量均可线性增长,扩展至数千甚至上万节点也无实质障碍,消除了大规模部署带来的缓存同步和节点间横向流量转发问题。

第三,成本控制。采用QLC(四层单元)SSD与SCM组合模式优化总体拥有成本。QLC的DWPD(每日全盘写入次数)或TBW(总写入字节数)通常针对随机IO场景,而VAST Data通过顺序大IO异步写入方式延长寿命,并配备146+4的EC纠删码保护。

第四,软件订阅模式。2021年VAST Data推出名为Gemini的软件订阅服务,颠覆了传统存储厂商软硬件捆绑销售的模式,同时打开了与头部厂商合作的机会——毕竟并行文件存储领域玩家寥寥。在非指定硬件情况下,其硬件曾由供应商A vnet提供,后续新增多家供应商,包括Google Cloud、CoreWea ve的GPU云,以及与Supermicro的合作。

第五,与NVIDIA深度绑定。作为早期布局AI存储赛道的厂商,VAST Data早在2019年便开始宣传其为AI场景设计的理念,当时切入该领域的厂商屈指可数。通过采用NVIDIA DPU构建存储节点,并与CoreWeave实现端到端NVIDIA硬件适配,成功塑造了“最适合AI大模型场景”的行业形象。

随着大模型热潮席卷,VAST Data自然成为AI存储赛道最受瞩目的明星。但其面临的挑战也十分清晰:Intel已放弃3D Xpoint技术,VAST Data的下一步战略将如何布局?

硬件架构

尽管VAST对外宣称是一家软件公司,但从本质上看,或许是为了避免重资产运营。此外,其架构基于软件定义存储(SDS)设计,便于灵活适配新兴环境。

在硬件架构中,VAST Data存储系统由三部分组成:计算节点(CNode)、存储节点(DNode)和网络设备。计算节点CNode与存储节点DNode之间通过NVMe-oF网络交换机互联。

计算节点为无状态设计,但后端存储节点并非如此,因此需增强其可靠性。每个HA Enclosure内含两个DNode,通过每个DNode上的PCIe交换机芯片,将NVMe-oF请求从端口路由至机箱内的SSD。

硬件网络架构剖析

整体架构划分为计算节点(CNode)与存储节点(DNode)。所有计算处理任务在CNode上执行,所有需持久化的数据及元数据则存储在DNode中。

所有DNode通过NVMe-oF网络与所有CNode相连——不存在传统意义上的控制器或机头,所有前后端节点完全对等。因此,也消除了传统存储中控制器故障导致的切换延迟。

此外,集群中所有CNode在启动时均通过NVMe-oF挂载集群内全部SCM和闪存SSD。这意味着每个CNode可直接访问集群中的所有数据与元数据。在DASE架构中,每一项内容——包括每个存储设备、每个元数据结构以及系统内每个事务的状态——均在集群内所有CNode服务器之间全局共享。

当需要读取数据时,CNode首先从SCM SSD获取文件元数据,确定数据在闪存SSD中的位置,随后直接从此超大规模SSD读取数据。看到这里是否想起什么?没错,这正是类似GFS的架构——客户端先访问datanode,从master获取文件位置,再至对应datanode获取数据。IT架构设计往往呈现螺旋式演进。

CNode采用容器化运行,具备无状态特性。任意一个CNode失效,对整个存储系统均无影响。VASTOS升级时,会实例化新的VASTOS容器,无需重启底层操作系统,从而将服务器离线时间压缩至数秒。相比之下,传统存储每次升级需选择业务低谷,预留数小时进行停机维护。

计算节点的无状态设计是优势,但后端存储节点并非如此,因此需提升存储节点可靠性。每个HA Enclosure包含两个DNode,通过各自PCIe交换机芯片将NVMe-oF请求从端口路由至机箱SSD。这意味着从网络端口到SSD全程冗余设计,这在分布式存储中较为常见。由于DNode不承担复杂业务,每个机箱采用ARM DPU作为DNode处理器。每组Enclosure内的两个DNode采用全Active-Active工作模式。

业务网络架构方案

业务集群与存储网络的连接有两种主流方式:

1. 业务与存储共用同一网络,均通过NoF交换机接入。

2. 业务系统经由CNode接入存储系统。

两种方案各有优缺点:统一网络接入灵活性较差——一旦确定使用以太网或InfiniBand便难以更改;而通过CNode接入,可根据业务系统负载灵活选择不同网络。

统一网络接入的优势在于网络统一、节省网口,且集中使用100Gbps网络交换机可降低整体成本。但若业务网络并非100Gbps,则会造成资源浪费。

后续两篇文章将进一步深入分析硬件细节、软件设计及商业模式等内容。

来源:https://www.53ai.com/news/LargeLanguageModel/2024060484907.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。