本次查询：数据编排
中文解释：数据编排
常见场景：数据集成 / 数据管道 / ETL / 实时数据处理
一句话解释
数据编排是一种通过可视化或代码方式定义数据依赖关系、自动调度任务执行的技术。它像智能指挥系统，高效协调多源数据清洗、转换、加载及模型训练等流程，确保数据按时、准确送达目的地。
为什么会被关注
随着企业数据源激增、数据孤岛问题突出，手动管理数据流水线效率低下且易出错。数据编排能通过自动化依赖解析和任务调度，大幅降低运维成本。
同时，在实时数据湖、AI训练等场景中，数据编排可动态优化资源分配、避免重复计算，成为现代数据基础设施的核心能力，受到数据工程师和架构师的广泛关注。
核心逻辑
数据编排的核心是构建一个有向无环图（DAG），节点代表数据处理任务（如清洗、聚合），边表示数据依赖关系。编排引擎根据DAG自动顺序或并行执行任务，并处理失败重试、资源伸缩等。
它强调“数据即代码”，通过声明式配置管理数据生命周期，支持事件驱动和批流一体，让开发者专注业务逻辑而非底层调度细节，从而实现高效、可重用的数据流水线。
常见场景
在数据仓库中，数据编排用于ETL任务的依赖编排与定时触发；在实时处理中，结合Kafka、Flink实现流式数据清洗与聚合；在机器学习中，编排数据准备、特征工程、训练评估的全流程。
此外，数据编排还常用于跨云数据迁移、数据目录的自动化构建，以及数据网格（Data Mesh）中领域数据产品的发布与消费，是数据中台和DataOps落地的关键组件。
容易混淆的点
数据编排易与工作流编排（如Apache Airflow）混淆，后者更侧重任务依赖与定时，而数据编排更关注数据血缘、数据质量及治理元数据的自动继承。
另外，数据编排不同于数据集成工具（如Fivetran），集成侧重抽取和加载，编排强调全局调度与自动化；也与ETL有交集，但ETL偏向数据转换，编排则覆盖更完整的数据生命周期管理。