AI 时代数据管理新范式:从 NoETL 到数据编织
在 AI 时代,数据已成为驱动智能应用的核心引擎。企业正在从传统 ETL(抽取-转换-加载)向 NoETL(无抽取-转换-加载)理念演进,力求实现“即连即用”的高效数据访问。然而,面对 AI 系统对语义理解、动态治理和上下文感知提出的复杂要求,仅有 NoETL 远远不够。数据编织(Data Fabric)架构应运而生,成为真正支撑 AI 落地的关键数据基础设施。
一、AI 时代对数据的新要求
人工智能系统(尤其是大语言模型)不仅需要“能访问到数据”,更要求数据具备高质量、语义清晰、上下文关联的属性。具体而言,有五个核心要求:
- 语义理解与统一:数据需具备统一的业务语义,使 AI 能够进行理解、归类和推理。
- 动态治理与质量保障:实时评估数据质量,并自动执行治理,确保训练和推理过程的可信度。
- 上下文感知与关系建模:显式表达数据间的关联,帮助 AI 构建因果关系和知识链条。
- 实时性与灵活接入:支持低延迟、高并发的数据访问,满足 AI 系统对实时数据的迫切需求。
- 安全合规与权限细粒度控制:对高度敏感的业务数据实施严格且灵活的权限管理。
NoETL 仅解决了“如何访问”数据的问题,但对于“访问到的数据是否有意义、是否可信、能否用于推理、能否组合”等核心问题,NoETL 无法给出答案。
