在数据被视作“新经济时代石油”的当下，如何高效、自动化地将分散的数据从源头输送至业务决策者手中，已成为企业面临的核心挑战。数据管道正是解决这一问题的关键基础设施。本文将从零开始，带你了解数据管道的定义、演进历程，以及各代技术的核心特点与适用场景。

2022年7月12日，在CSDN云原生系列在线峰会第13期“现代数据栈峰会”上，下秒数据CEO蔡致暖围绕数据管道1.0至3.0的迭代历程与技术特性进行了深入分享。

数据管道与ETL

数据管道是一种关键的数据基础设施，ETL管道则是最常见的数据管道类型。

数据基础设施构成了底层支撑，而数据管道作为数据库与数据仓库的最佳搭档，同样是一种重要的数据基础设施。

在理解数据管道之前，首先需要认识什么是ETL管道。ETL管道从源系统或数据库中提取数据，经过转换后，加载至数据仓库或数据库中，进而从中获得业务洞察。

数据管道涵盖ETL管道，因为对数据管道而言，数据的目标并不局限于数据库或数据仓库，也可以指向其他应用程序，并支持整个组织的数据编排、管理和使用。

数据管道的典型步骤包括提取、转换、组合、验证、可视化及其他数据分析流程。如果没有数据管道，这些操作将依赖大量耗时且繁琐的手动步骤，并增加人为失误的风险。数据管道的最佳比喻是传送带——它能高效、准确地将数据传递至流程的每个环节。例如，数据管道可以帮助数据从SaaS应用顺畅地流向数据仓库。

为什么数据管道是重要的数据基础设施？

如今，企业数据孤岛现象日益普遍，各类SaaS应用的使用频率不断攀升。数据管道要解决的正是如何自动将不同来源的数据传递给组织中的人、系统及应用程序，并将其转化为业务价值。数据管道不仅扮演着数据传送带的角色，还需将多源数据通过技术手段加工为业务价值再输送出去，最终让组织能够便捷地使用数据。

小提示： 如果企业同时使用多个SaaS（如CRM、ERP、营销工具），数据管道能帮你将这些分散的数据自动汇聚到统一平台，避免手动导出导入的繁琐和出错风险。

数据管道1.0：ETL技术与数据仓库

数据管道1.0的核心关键词是ETL与数据仓库，基于传统ETL技术构建数据仓库的流程可分为五个步骤：

• 定义数据项目及相关业务需求；
• 确定项目涉及的数据源；
• 定义解决特定业务问题所需的数据模型（Schema）；
• 构建ETL管道（包括提取、转换和加载函数）；
• 执行数据分析并获取业务洞察。

其关键特征在于，数据在加载到数据仓库之前需要先完成转换。这是因为20世纪90年代，存储、计算和带宽成本高昂，因此在将数据装入仓库前减少数据量至关重要。

传统ETL技术的局限性

随着数据处理技术持续演进，传统ETL技术难以适应业务发展，暴露出诸多弊端：

• 不够灵活、伸缩性差，业务规则一旦变化，管道需重新设计；
• 需要持续维护，开发工程师必须深度参与，运维成本较高；
• 技术复杂，可能涉及多种编程语言，学习与调试难度大。

案例分析——业务逻辑稍复杂，维护成本急剧升高

上图是一个典型的使用Kettle构建的数据管道，涉及节点数量超过20个。在业务频繁变化、需求不断修改的情况下，数据管道的复杂度与维护成本会急剧攀升。

常见问题： 问： ETL管道在业务频繁变更时还能继续使用吗？
答： 可以勉强使用，但每次业务变更都需要开发人员重新设计管道、调整转换逻辑，维护周期长、成本高，通常建议在业务稳定后再考虑采用ETL方案。

数据管道2.0：ELT与云计算/大数据

数据管道2.0的主要目标依旧是构建数据仓库，其核心关键词是ELT与云计算/大数据。

在2.0阶段，ETL技术被替换为ELT技术。这是因为随着大数据与云计算的发展，存储、计算和带宽成本大幅下降，组织可以在数据仓库中加载大量未经转换的原始数据，而无需担心成本和容量限制。

ELT管道从源系统中提取数据，并直接加载到数据仓库中，跳过转换环节。数据入库后，再针对特定业务需求，基于SQL或DBT（SQL扩展）等工具进行转换和建模。

ELT如何解决传统ETL的痛点

• 更加灵活：每个数据源的数据均可存入仓库，EL过程不涉及业务转化，能够实现标准化，从而按需扩展数据源、按需建模；
• 更加普适：转换和建模不再依赖编程语言，入库后使用SQL即可完成；
• 更加健壮：转换层出现故障（如上游架构或下游数据模型更改）时，不会阻碍数据加载过程。

小提示： 在ELT模式下，即使某个数据源的转换逻辑出错，原始数据仍然完好地保存在数据仓库中，修复后重新转换即可，不会造成数据丢失。

数据管道3.0：连接器与API经济

虽然数据管道2.0已实现将所有数据存入数据仓库，但转换和建模环节仍对技术能力有较高要求。过去，数据集成多以数据库或文件为目标，而近年来SaaS应用广泛普及，企业使用不同应用和工具开展营销与运营活动，数据集成的技术门槛并未因ELT的到来而真正降低。

数据管道3.0——基于连接器与API经济，自动化价值数据的流动

实际上，数据管道3.0与数据管道2.0的ELT同属现代数据栈的组成部分。相比数据管道2.0，3.0主要在两个方面做出了关键改变：

• 数据连接器的标准化与商品化：ELT为数据连接器的标准化奠定了坚实基础，将问题转化为如何让数据连接器更易于构建和复用；
• 数据分析结果不应局限于数据仓库或BI工具，而应通过API或数据编排自动化，推动组织内价值数据的流动，例如反向ETL。

数据管道3.0的主要特征

用户特征

• 用户无需关注技术细节，通过简单配置即可完成数据连接、处理与分析，显著降低对开发人员的依赖；
• 支持弹性工作负载，按用量付费。

技术特征

• 连接器实现标准化，数据集成可重复使用，大幅降低数据集成的成本与技术门槛；
• 转换和建模以数据仓库和SQL为中心。

生态特征

• 易于与其他工具（包括传统ETL工具）集成；
• 借助社区力量构建和维护连接器以及模板化的数据模型。

常见问题： 问： 数据管道3.0是否完全不需要写代码？
答： 对于标准化的连接和常见转换（如字段映射、数据类型转换），通常通过配置即可完成，无需编写代码。但遇到特殊的业务逻辑（如自定义聚合算法），仍可能需要借助SQL或模板进行少量配置，整体上对开发人员的依赖已大幅降低。

总结

数据管道是一项重要的数据基础设施，借助智能数据管道技术，组织能够将所有应用程序、数据库、事件和文件等数据信息提取至数据仓库中，并快速将分散的数据转化为数据集、API、自动化流程等开箱即用的数据服务，充分释放数据价值。从1.0时代的手动ETL，到2.0时代的灵活ELT，再到3.0时代的连接器与API经济，数据管道正变得愈发简单、高效和生态化，成为现代企业数据驱动的核心引擎。