游乐游手机版
首页/AI热点日报/热点详情

边缘AI应用对数据存储的挑战与影响

类型:热点整理2026-07-17
数据增长远超传统认知,非结构化数据占比超80%,仅5%用于分析。AI可从海量非结构数据中生成元数据,提升检索效率。在存储设备内部集成AI引擎进行标记,减少数据移动,降低成本与延迟,具备线性可扩展性。

说来也简单,今天的数据增长已经远超传统认知边界。过去,人才是数据的核心生产者;如今,图像设备、传感器、无人机、联网汽车、IoT设备乃至工业机械成为了主力军。但必须分清楚:数据和信息完全是两码事。

现实是,收集到的数据中只有极小比例能真正构成资产。拿成像设备来说,一分钟的相关活动录像远比几小时的空白镜头更有意义。可以这么理解:数据就是矿场,而信息是金块,能从数据沙子里淘出钱子来的本事,叫做“分析”。

图1 2009年至2020年数据存储需求的增长

图1来自分析公司Statista,清晰地刻画出过去十年间存储数据容量的疯狂增长——到2020年,需求预计将超过42,000 EB。然而,大量的存储数据(多数估计认为至少80%)依然是“野生”状态:完全非结构化。用于实际分析的比例更是低得可怜,大约只有5%。如果能用一种元数据来为这些非结构化数据做标记,让它们能被高效描述和检索,那么可供分析的数据就会大幅增长,组织的“数据金矿”价值也能显著提升。

再来看看AI。它在现代社会的能力早已渗透到方方面面:从电商推荐、语言翻译、金融科技、安全监控、物体识别,到迅速识别癌细胞的医疗影像——每一个领域都有它的影子。尽管这些用例五花八门,但它们共享一条底层逻辑:现在我们手上有一种工具,能够高效扫描海量非结构化数据(视频、文本、语音、图像等),从中挖掘出真正的价值。

关键点在于,AI不仅能用于分析本身,还能用来做数据预处理——给原始的非结构化数据打上标签,生成精确的元数据。这个精简过的数据库再交由上层分析软件使用,就能轻松采集信息。在此之前,组织一直在等待AI为存储数据注入更多价值;而到了这一步,AI才算真正从“黑暗”中走出来。

好了,想法很清楚:生成元数据来让分析软件跑得更快,而AI就是从海量非结构数据里创建这个元数据库的工具。现在只需要把这些数据搬运到AI计算实体上就行了。但等等——这真是最优解吗?真的吗?

看看数据生成和存储的两大主战场——云和边缘,你会发现搬运海量数据代价惊人,能避免就避免。在云侧,数据中心内部的数据路由会给网络基础设施带来巨大压力,能耗飙升、延迟增加;在边缘侧,计算和功能资源有限,小型设备的网络能力也决定了把大量数据上传到云端根本行不通。所以,无论在哪一侧,减少数据移动、依赖元数据才是效率最大化的关键。

如果能在数据源头——也就是数据所在的存储设备内部——就完成元数据分配,而不是到处搬数据,那效率会高得多。固态硬盘(SSD)内部本来就包含计算所需的基本元素,虽然这些资源通常只服务于驱动器本身的操作,但完全可以重新利用起来,执行与标记相关的任务。甚至可以通过集成额外的硬件、软件或固件模块来强化这一能力。于是就有了两种操作模式:一种是利用驱动器的空闲窗口,在后台执行标记任务;另一种则是在数据写入驱动器的瞬间直接进行处理。两种模式各有利弊,适用场景也不一样。

举个例子,在写数据的当下进行分析,对生成报警非常有用。假设有一套监控系统,能够在存储过程中扫描图像的逻辑,就能补充摄像机产生的运动侦测信号,进一步识别出可疑行为或人物,并建议安全干预。同时,就“数据接触”而言,这无疑是最高效的手段——数据进来后只需处理一次。

不过,在很多场景下,这也意味着需要更强大的CPU和AI引擎来实时处理高分辨率视频流。这对于成本、功耗极度敏感的SSD环境来说,是个不小的挑战。同时,这种在线分析会与常规的读写操作争夺计算和内存资源,难免产生冲突。

为了在AI处理能力与SSD的成本、功耗、面积之间找到更优的平衡,离线处理是另一个值得考虑的方案。这种方法用处理速度(衡量标准可以是TOPS/Watt/mm²)来换取AI资源上的额外功率和面积裕量。可以选择一个小型的、性能较低的AI推理引擎,让它花更长时间扫描数据,从而把功耗压到最低——或者反过来。同时,由于它只在驱动器的空闲时间运行,也避免了与正常的读写操作冲突。

另一个优势是支持基于新模型的重新处理。比如,第一次用识别动物的模型扫描了数据;后来有了能识别物体的新模型,就可以用新模型再扫一遍,并相应更新元数据库。

无论哪种模式,节电、省钱、减少数据移动、降低延迟、减轻网络负担,都是在存储点部署加速功能所能带来的部分好处。更关键的是,这种架构具有天然的可扩展性,企业和云服务提供商可以借助AI的力量,无限延伸它们的能力边界。

数据离主机越远,这种架构的潜力就越明显。利用多个驱动器,我们能获得更高的并行度。下图对比了一个由24块内置AI引擎的SSD组成的全闪存阵列盒和一个普通服务器处理器:两种方案都从每块SSD中读取视频库,用预训练AI模型分析指定对象,并生成元数据库。

图2 存储中处理降低了网络利用率

图2显示,由于计算全在本地完成、不超出驱动器边界,存储中处理大幅降低了网络利用。图3则表明,并行处理在所有驱动器上同时展开、没有数据路由,延迟显著缩短。此外还有功耗更低、主机利用率更低——主机可以腾出手来做其他事。当然,这些结果受引擎功能、视频格式、网络延迟等因素影响,在其他配置下可能有出入,但大趋势是站得住的。

图3 存储中处理减少了由于并行性引起的等待时间

另一个关键优势是线性可扩展性。数据库增长时,只需增加SSD来容纳更多数据,同时也增加了处理这些数据所需的计算量——不多不少,正合适。因此性能与数据量之间保持线性关系。而在主机处理器上做同样的事,随着处理器周期耗尽,性能曲线最终会趋向平坦。

图4 可伸缩性是使用AI进行存储内计算的另一个好处

在之前的闪存峰会上,Marvell展示了AI SSD控制器的概念验证(PoC),演示了如何在不占用主机CPU资源的前提下有效执行数据标记——完全避开前面提及的成本和延迟陷阱。演示现场,成熟的Marvell数据中心和客户端SSD控制器IC搭配开源NVIDIA深度学习翻跟斗(NVDLA)技术,加载预训练的AI模型,编译到集成AI推理IP中,对驱动器本地海量非结构化数据(比如视频库)进行扫描。最终生成标签、创建元数据库,使数据在搜索时能被轻松表达。上述结果正是基于这个PoC演示而来。

想象一下,执法机构在数不尽的视频片段中寻找某个可疑目标。他们可以加载一个训练好的模型——这个模型知道怎么准确地识别那个“目标”。然后,存储这些视频的所有驱动器同时启动后台推理任务,并行扫描全部内容。任何目标出现的瞬间都被标记出来,后续的分析工作变得无比轻松。

类似的,考虑一下聊天机器人服务的后台分析。海量通话记录需要扫描以提升服务质量——用户对回复是满意还是反感?通话时长是否合理?一旦创建出能追踪这些指标的AI模型,直接编译到存储推理引擎中,离线扫描整批通话记录。视频点播的个性化广告插入、人员或物体搜索,乃至任何需要“就近处理数据”的I/O密集型用例,都能从中获得显著的性能提升。

AI SSD控制器技术展示了一条新路:如何以现有SSD硬件为基础,通过增加逻辑能力来构建更智能的数据存储架构,直接处理下一代分析工作负载所需的元数据和标签——完全不需要额外的专用处理资源。

遵循这种替代策略,将重心从传统集中式处理转移开,整个流程的效率会大幅提升。它几乎不占用网络带宽,也避免了瓶颈的出现。通过将AI翻跟斗直接集成到成本可控的SSD控制器IC中,分析任务快速完成,所需计算能力和功耗预算都明显降低,还彻底省去了从头开发复杂ASIC的麻烦。由于采用了可编程架构,未来也能方便地更新AI模型,随时应对新出现的用例。

来源:https://m.elecfans.com/article/1361002.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。