01. 向量数据库为何成为大模型浪潮中的核心基础设施？
Zilliz作为全球领先的向量数据库企业，旗下拥有开源向量数据库系统Milvus与商业化产品Zilliz Cloud。之所以长期深耕这一方向，源于我们在AI时代洞察到的几个关键趋势。
观察一：在所有数据类型中，非结构化数据占比超过80%，且增长速度极为迅猛。
过去多年，结构化数据处理一直占据主流地位。结构化数据即字段、存储与查询方式相对固定的数据，例如电商中的交易记录——金额、购买时间、产品名称等均有严格定义。但进入AI时代，IDC曾做出预测：到2025年，全球数据总量中超过80%将是非结构化数据。语音、视频、图片、文档等形态无处不在，而近年来最火爆的短视频，正是最典型的非结构化数据。
观察二：结构化数据的潜力已被充分挖掘，非结构化数据仍有广阔空间。
非结构化数据处理的基础在于语义挖掘，而语义挖掘在电商、社区内容推荐等领域潜力巨大。例如用户搜索“面包”，若仅依赖关键词匹配，吐司、贝果、欧包、慕斯等细分品类很可能被遗漏。但通过语义与向量维度，它们之间的相似度极高。基于向量返回的结果，才更贴近真实业务场景的需求。
观察三：如何高效处理非结构化数据，依然是制约AI发展的核心难题之一。
非结构化数据具备四个显著特征：体量庞大、理解困难、搜索成本高且计算密集、缺乏专业工具。相比之下，结构化数据处理工具已发展了二三十年，技术相当成熟。而非结构化数据的处理需求，近五年才迎来爆发式增长，相关工具远未完善。同时，数据量大意味着需要投入大量算力与存储。举例来说，同样在上亿级数据中搜索，结构化数据依靠分级、标签索引可快速定位；而非结构化数据——比如在上百部影片中寻找某个特定画面——若没有向量数据库，检索过程将变得极其复杂且耗时。成本一旦上升，大量数据不得不被丢弃，造成巨大浪费。
观察四：向量技术是释放非结构化数据潜力的核心路径。
一个基础认知：人类与计算机理解世界的方式截然不同。面对泰迪与金毛的照片，人类知道它们都属于狗；而在计算机的二进制世界中，这两张照片之间并无强关联。要让计算机理解它们同属“狗”，就需要借助深度学习进行语义抽取，将文字与文字、文字与视频、文字与图片、视频关键帧之间建立关联。而衡量这些内容相似度的载体，正是向量。
观察五：向量数据库的准入门槛，实际上被极大低估了。
目前业界已基本形成共识：AI时代需要一套专门的向量数据库系统。过去一年中，有两三百家厂商宣称自己是向量数据库公司，但其中至少八成是传统数据库厂商。然而，真正的向量数据库需要解决诸多难题：如何将海量历史数据向量化，如何构建索引，如何存储，如何实现多路召回，如何兼顾语义查询与传统精确查询，同时还必须在高可用性、可扩展性、查询与读写性能上做大量优化。Zilliz与超过5000家企业用户共同打磨了6年，已是公认的向量数据库开拓者与全球领先者——旗下开源产品Milvus在GitHub上获得超过29K stars，是全球最受欢迎的开源向量数据库之一。
02. 向量数据库落地应用的明星场景解析
技术落地离不开业务场景。当前，向量数据库的明星应用场景主要包括以下几个方面：
场景一：toB及toC产品的推荐与意图识别。
典型代表是电商领域。评论、商品描述、推荐等信息均为海量非结构化数据。处理这些数据往往面临高并发访问，用户个性化推荐需要在千万级数据规模下实现毫秒级延迟，文本内容不涉及重度垂类知识，需集成embedding model直接进行向量化。而向量数据库可在千万级数据规模下达到毫秒级延迟、每秒千次查询并发，并原生支持向量化能力。
场景二：智能语音助手与问答机器人。
大模型兴起后，语音助手和问答机器人迎来了新一轮发展热潮。这类场景对召回率要求极为严苛，通常需要叠加稀疏向量模型以实现更精准的查询，同时还要支持频繁的数据修改、租户隔离及数据失效策略。向量数据库能轻松应对亿级数据规模，召回率可达98%以上，并且支持稀疏向量的多路召回。
场景三：自动驾驶。
自动驾驶近年来热度持续高涨，整车厂和方案提供商均需采集并处理海量数据——这些数据多为视频。我们需要对视频进行预处理抽帧，并在特定场景中寻找具备某种特征的图片，例如雨天的十字路口、反光的水潭、夜晚的安全锥等。这些样本量通常很小，但重要性极高。传统方法需维护一个超宽列的数据表，将所有图片中的实体结构化为标量存储，每个挖掘任务要执行多次查询，耗时从分钟级到小时级，百亿数据量级的集群运维压力亦极大。而基于向量数据库，可支撑百亿级数据规模、十万级的返回结果，还能结合标量过滤实现混合查询，并执行指定相似度的范围搜索。
03. 专业级场景，亟需开箱即用的向量数据库服务
大模型爆发已将近两年，行业关键词从单纯的技术维度转向了产品化与落地。面对越来越多的专业级场景，市场对开箱即用的向量数据库服务需求日益迫切。因此，在开源Milvus之外，Zilliz还推出了面向商业级场景的Zilliz Cloud。相比开源产品，它具备三大特性：全托管服务、高效索引、企业级功能。
从商业化第一天起，Zilliz Cloud便瞄准全球市场——2022年8月上线内测版，2023年3月登陆北美，同时支持AWS和GCP；2023年7月登录阿里云，开启国内向量数据库云服务；同年12月登陆Azure。截至目前，Zilliz Cloud已实现阿里云、腾讯云、AWS、GCP和Azure五大云平台共18个节点的全覆盖，成为全球首家同时提供海内外多云服务的向量数据库厂商。