1. 数据湖构建DLF概述
阿里云数据湖构建（Data Lake Formation，简称DLF）作为一款全托管的统一元数据与数据存储管理平台，旨在帮助企业高效构建云上数据湖。其核心价值在于提供完整的元数据管理、权限安全、数据入湖与探索能力，并能无缝对接阿里云多个大数据计算引擎，真正打通数据孤岛，加速业务价值挖掘。
具体而言，DLF的核心能力体现在以下几个方面：首先是统一元数据管理，支持跨引擎、全托管、免运维，提供可视化操作、多版本回退与全文检索等功能；其次是细粒度权限控制，可针对数据目录、数据库、数据列及函数等资源进行可视化权限配置；第三是丰富的数据湖管理能力，包括生命周期管理、湖格式自动优化及存储分析等；最后是多引擎生态兼容，能够无缝对接EMR、MaxCompute、Flink、Hologres等主流计算引擎。
在元数据模型方面，DLF采用三层结构设计：数据目录（Catalog）作为顶层逻辑实体，用于实现不同业务或用户间的隔离与权限管控；数据库（Database）作为Catalog下的二级单元，用于组织和管理表；数据表（Table）则为最小存储单元，承载实际元信息。这种层级化结构清晰反映了数据湖内部的资源组织关系，便于统一管理与权限控制。
2. 开通DLF服务与基础配置
使用DLF前，需要先完成服务开通及账号授权操作。首次使用时，登录阿里云控制台，在产品列表中搜索数据湖构建（DLF），按指引完成开通。系统会自动进行服务角色授权，确保DLF具备访问OSS等底层存储服务的必要权限。
对于RAM用户，管控API层面需具备AliyunDLFFullAccess权限，或与Catalog相关的具体鉴权Action。在数据层面，仅主账号、被赋予super_administrator或admin角色的用户，或被授予Catalog管理权限的RAM用户，才能创建Catalog。开通DLF服务的RAM用户将被自动添加为当前地域的DLF超级管理员。如果RAM用户被授予AdministratorAccess系统策略，则相当于拥有DLF超级管理员的全部角色权限。
3. Catalog管理
Catalog是DLF元数据管理的顶层实体，创建它是使用DLF的第一步。在控制台的元数据管理页面，点击新建Catalog，需配置以下参数：Catalog名称（必填，全局唯一且不可重复）、描述信息（可选）、存储类型（标准存储）及存储冗余类型。
存储冗余类型包含两种选项：本地冗余（默认）将数据存储在单个可用区，若该可用区不可用，数据将无法访问；同城冗余则在同一地域的多个可用区间进行数据冗余，提供更高的可用性，但成本相对较高。对于高可用性要求严格的场景，推荐选择同城冗余。但需注意：Catalog一旦创建完成，同城冗余模式不可变更为本地冗余。
创建完成后，可在Catalog下继续创建数据库和数据表。如果已在其他平台（如EMR、Flink）关联了该Catalog，同样可以创建数据库和表，元数据将直接写入DLF中。
4. EMR与DLF集成
EMR（E-MapReduce）是阿里云的大数据处理平台，与DLF集成是构建数据湖方案中最常见的实践场景。通过EMR DLF数据湖方案，企业可以获得统一的元数据管理与权限控制能力，同时支持数据生命周期管理、湖格式自动优化及存储分析等多种高级功能。
4.1 创建使用DLF元数据的EMR集群
在创建EMR集群时，选择DLF作为元数据存储类型：业务场景选择数据湖，可选服务中至少选中Hive组件，元数据选择DLF统一元数据，DLF数据目录可选择默认Catalog或新建一个。如果尚未开通DLF服务，系统会提示先完成开通操作。
4.2 现有EMR集群切换DLF元数据
对于已创建的EMR集群，可以通过修改配置将元数据存储从MySQL切换为DLF。DLF统一元数据适配EMR的Hive 2.x、Hive 3.x、Presto和SparkSQL。仅EMR-3.30.0及以上版本和EMR-4.5.0及以上版本支持选择DLF统一元数据作为Hive数据库。
切换步骤如下：进入EMR集群的Hive服务页面，在服务配置区域搜索配置项hive.imetastoreclient.factory.class，将其值修改为com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory，保存配置后重启Hive服务。若需切换回MySQL，则配置值为org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。
4.3 元数据迁移
DLF提供了可视化的元数据迁移功能，可快速将Hive Metastore元数据迁移到DLF中。适用场景包括从其他大数据集群迁移至阿里云EMR新集群，或从现有EMR集群（内置MySQL或自建RDS）整体迁移至EMR新集群。迁移要求EMR主版本满足：3系列≥EMR 3.33、4系列≥EMR 4.6或5系列≥EMR 5.1。
迁移前需检查数据库远程访问权限，通过执行以下SQL语句进行授权：
如果是RDS数据库，也可在RDS控制台中查看和修改访问权限。迁移任务的创建与运行均在DLF控制台完成，支持任务状态查看与运行日志查询。
5. Flink与DLF集成
实时计算Flink版与DLF的集成是实现实时数据入湖的核心方案。Flink任务可以利用数据湖统一存储的优势，通过Hudi或Iceberg结果表将作业结果输出到数据湖中。通过配置DLF Catalog，Flink可将表的元数据同步到DLF，实现写入的数据湖表无缝对接EMR、MaxCompute、Hologres等计算引擎。
5.1 前提条件
使用Flink集成DLF方案需满足以下条件：已开通阿里云实时计算Flink版并创建Flink全托管工作空间；已开通DLF服务；如果使用MySQL数据源，需创建RDS MySQL实例，且与Flink部署在同一地域同一VPC内，RDS MySQL须为5.7及以上版本。
5.2 创建DLF Catalog
在Flink控制台中创建DLF Catalog：进入Flink全托管页签，单击目标工作空间操作列下的控制台，在左侧导航栏选择元数据管理，单击创建Catalog，选择DLF并填写参数配置后确认。创建成功后，可在元数据管理中看到新增的DLF数据目录，默认链接的是DLF的default数据目录。
5.3 Flink入湖作业示例
以下是一个使用Flink CDC将MySQL数据同步至DLF Paimon表的YAML作业配置示例：
基于Flink创建Paimon DLF Catalog后，可以读取MySQL CDC业务数据并写入DLF，进而使用MaxCompute的外部项目进行数据湖联邦查询分析。这种架构实现了流批一体的LakeHouse架构：利用实时计算Flink版构建流式作业，消费Kafka中的数据并实时写入DLF的Paimon表，构建实时ODS明细层；再通过Flink批处理作业对ODS层数据进行清洗、聚合与建模，构建离线DWD明细层。
写入DLF的Paimon表可通过DLF提供的统一元数据能力，无缝对接多种计算引擎进行分析查询。例如，使用StarRocks创建外部Catalog直连DLF中的Paimon表，即可实现对湖内数据的快速探查与分析。
6. DataWorks与DLF集成
DataWorks是阿里云的数据开发治理平台，其数据集成模块支持将数据同步至DLF。需要特别注意的是，Data Lake Formation数据源仅支持在数据集成中使用，且仅支持Serverless资源组。
6.1 创建DLF数据源
在DataWorks中创建DLF数据源的步骤如下：登录DataWorks控制台，进入工作空间管理中心，单击左侧导航栏的数据源，选择新增数据源，搜索并选择DLF。配置参数包括：数据源名称（在工作空间内唯一，必须以字母、数字、下划线组合，且不能以数字或下划线开头）、配置模式（仅支持阿里云实例模式）、Endpoint（从下拉列表中选择DLF引擎实例的Endpoint地址）、访问身份（可选择阿里云主账号、RAM子账号或RAM角色）。
如果访问身份选择了RAM子账号或RAM角色，需在RAM访问控制中将系统策略AliyunDataWorksDIAccessDLF授权给该子账号或角色。同时，需在DLF控制台授予该角色或子账号待同步数据表的Data Editor权限。配置完成后，测试数据源与Serverless资源组的连通性，确保可连通即完成创建。
6.2 脚本模式配置
在配置离线任务时，可以使用脚本模式。以下是一个Reader脚本示例：
DataWorks数据集成还支持Hive整库离线同步至DLF，以及MySQL整库实时同步至OSS-HDFS数据湖。用户可根据数据源类型和同步需求，灵活选择Flink CDC或DataWorks数据集成等工具，将原始数据同步至数据湖中。
7. MaxCompute与DLF集成
MaxCompute、DLF与OSS共同构成了阿里云湖仓一体的核心解决方案，支持数据湖查询与湖数据入仓。通过配置DLF，可将数据从OSS导入到MaxCompute中，并利用MaxCompute进行高效的湖仓查询分析。
7.1 前提条件
使用MaxCompute DLF OSS方案需满足以下条件：已开通OSS服务并准备好测试数据；已开通DLF服务并导入OSS测试数据；已创建MaxCompute项目；已创建DataWorks工作空间并绑定MaxCompute数据源。需要注意的是，仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域支持构建湖仓一体能力，且MaxCompute、OSS和DLF必须部署在同一地域。
7.2 权限授予
操作MaxCompute项目的账号未经授权无法访问DLF和OSS服务，因此需执行必要的授权操作。授权方式包括一键授权（当创建MaxCompute项目的账号与部署DLF的账号相同时，推荐直接单击授权DLF）和自定义授权两种。
在DLF中创建元数据库后，可创建元数据抽取任务，将OSS中的测试数据导入其中。通过MaxCompute的external schema，即可实现数据湖联邦查询。当DLF的Paimon表有新数据写入时，OpenSearch等引擎可基于新数据自动触发实时索引构建。
8. Hologres与DLF集成
Hologres自V3.2版本起，支持通过Paimon REST访问DLF Catalog中的数据。Hologres自V3.0版本起，支持在DLF 2.0数据源（Paimon）的EXTERNAL SCHEMA下创建EXTERNAL TABLE，实现与数据湖数据的无缝互通。在此基础上，Hologres从4.0版本起支持External Dynamic Table，通过External能力在Paimon中自动创建表，通过Dynamic Table能力自动增量加工数据。此外，Hologres还支持通过外部数据源加载DLF数据湖上的数据，并借助自研HQE引擎实现Paimon、Hudi、Delta Lake等湖上数据的高性能读写。
9. DLF OpenAPI与SDK使用
DLF的OpenAPI采用ROA签名风格。阿里云已为开发者封装了常见编程语言的SDK，开发者可直接下载SDK并调用OpenAPI，无需关注底层技术细节。
以下是一个使用阿里云V2 Python SDK调用DLF API的示例：
如果现有SDK无法满足特定需求，开发者也可以基于ROA签名规范，自行封装HTTP请求来调用OpenAPI。
10. 权限管理与安全
DLF提供了完善的权限管理体系。访问DLF需要为RAM用户或角色赋予相应的RAM API权限策略。DLF内部资源的访问与使用权限控制涵盖数据库、数据表、数据列、函数及数据目录等多个维度。
DLF的角色体系包括以下几种：super_administrator（超级管理员，开通DLF服务的RAM用户会被自动赋予此角色）、admin（管理员，具备所有数据权限及授权权限，同时拥有添加自建角色和新建Catalog的权限）。数据管理员可将admin或super_administrator等角色由主账号授予给RAM用户，使对应RAM用户能够进行授权管理。
在权限配置方面，DLF支持按照数据目录、数据库、数据列、函数等资源维度，进行可视化细粒度权限配置。
11. 数据湖管理与优化
DLF提供了丰富的数据湖管理能力。在数据生命周期管理方面，支持多维度的自动化管理，可根据数据冷热程度、更新时间等条件自动归档，有效降低存储成本。在湖格式优化方面，支持针对Delta数据湖格式的自动化存储优化策略。在元数据分析方面，支持元数据DataProfile功能，可对文件大小、行数、访问频次、小文件数量、文件冷热度及有效文件数等多个维度进行统计分析。
借助DLF的这些管理能力，企业能够更高效地运维数据湖，降低存储成本，并提升数据访问效率。
12. 总结
阿里云数据湖构建DLF作为全托管的统一元数据管理平台，为云原生数据湖建设提供了核心基础设施。从元数据管理、权限控制、数据入湖到多引擎集成，DLF的能力矩阵相当完整。无论是与EMR的大数据计算集成、与Flink的实时入湖集成、与DataWorks的数据集成、与MaxCompute的湖仓一体集成，还是与Hologres的实时数仓集成，DLF都提供了标准化的对接方式与完善的API支持。
企业在构建数据湖时，可以DLF为元数据管理中心，OSS为统一存储层，根据业务需求灵活选择EMR、Flink、MaxCompute、Hologres等计算引擎，从而形成统一元数据、统一存储、多样计算的现代化数据架构。这种架构不仅能够打破数据孤岛，还能通过DLF的生命周期管理与存储优化能力有效控制成本，是云原生数据湖建设的理想选择。
常见问题问答
问1：DLF与EMR集成时，对EMR版本有什么要求？
答：DLF统一元数据适配EMR的Hive 2.x、Hive 3.x、Presto和SparkSQL。仅EMR-3.30.0及以上版本和EMR-4.5.0及以上版本支持选择DLF统一元数据作为Hive数据库。元数据迁移场景需满足EMR主版本为3系列≥EMR 3.33、4系列≥EMR 4.6或5系列≥EMR 5.1的条件。
问2：Flink如何将元数据同步到DLF？
答：Flink可通过创建DLF Catalog，将表的元数据自动同步到DLF中。在Flink控制台的元数据管理页面，单击创建Catalog并选择DLF，填写参数配置后即可完成。创建成功后，Flink作业写入的数据表元数据将自动同步至DLF。
问3：DLF支持对接哪些计算引擎？
答：DLF支持与多种阿里云大数据计算引擎无缝对接，包括EMR（Spark、Hive、Presto、Impala）、MaxCompute、实时计算Flink版及Hologres等。
问4：DataWorks数据集成同步至DLF有哪些限制？
答：Data Lake Formation数据源仅支持在数据集成中使用，且仅支持Serverless资源组。配置数据源时，访问身份可选择主账号、RAM子账号或RAM角色，若选择子账号或角色，需授予相应的RAM权限和DLF数据权限。
问5：DLF中Catalog的存储冗余类型如何选择？
答：Catalog支持本地冗余和同城冗余两种存储冗余类型。本地冗余将数据存储在单可用区，当该可用区不可用时会导致数据无法访问；同城冗余在同一地域内多可用区间进行数据冗余，提供更高的数据可用性，但价格更高。对高可用性要求较高的场景推荐使用同城冗余。需注意，Catalog创建后同城冗余不可变更为本地冗余。
问6：DLF的OpenAPI采用什么签名风格？
答：DLF的OpenAPI采用ROA签名风格。阿里云已为开发者封装了常见编程语言的SDK，可直接下载使用。如果现有SDK无法满足需求，也可基于ROA签名规范自行封装HTTP请求。
