游乐游手机版
首页/AI教程/文章详情

日志服务数据加工中源与目标访问密钥配置

时间:2026-07-01 17:31
日志服务数据加工需从源LogStore读取数据并写入目标LogStore,建议使用子账号进行细粒度授权以保障安全。通过RAM分别创建读写子账号,配置精确或模糊匹配的权限策略,最后在加工任务中填入对应AccessKey。

日志服务的数据加工功能,其运作机制其实并不复杂:首先从源LogStore拉取原始数据,经过一系列加工处理,最终将结果写入目标LogStore。整个过程类似于一条流水线,而起始和结束阶段都绕不开一个核心问题——即对LogStore的访问权限配置。

使用主账号AccessKey虽然最简便,只需勾选即可运行,无需额外配置。但从账号安全角度考量,这种做法风险较大,强烈推荐采用子账号进行细粒度授权。接下来我们将逐步解析,如何从零开始搭建这一权限体系。

首先,请登录RAM控制台,开始创建子账号并授权。

创建读取源LogStore的子账号

由源Project所属的主账号执行操作:

image

创建完成后,务必妥善保存子账号的AccessKey ID和Secret,后续配置中会用到。

image

设置源LogStore的读取权限

同样由源Project所属的主账号操作:

image

具体的授权策略如何配置?下面列举两个典型场景。

场景一:精确授权

假设源Project名为log-project-prod,LogStore名为access_log,则策略可编写如下:

{
    "Version": "1",
    "Statement": [
        {
            "Action": [
                "log:ListShards",
                "log:GetCursorOrData",
                "log:GetConsumerGroupCheckPoint",
                "log:UpdateConsumerGroup",
                "log:ConsumerGroupHeartBeat",
                "log:ConsumerGroupUpdateCheckPoint",
                "log:ListConsumerGroup",
                "log:CreateConsumerGroup"
            ],
            "Resource": [
                "acs:log:*:*:project/log-project-prod/logstore/access_log",
                "acs:log:*:*:project/log-project-prod/logstore/access_log/*"
            ],
            "Effect": "Allow"
        }
    ]
}

场景二:模糊匹配授权

如果存在多套开发环境,例如log-project-dev-alog-project-dev-blog-project-dev-c,对应的LogStore分别为app_a_logapp_b_logapp_c_log,且命名有规律,则可使用通配符:

{
    "Version": "1",
    "Statement": [
        {
            "Action": [
                "log:ListShards",
                "log:GetCursorOrData",
                "log:GetConsumerGroupCheckPoint",
                "log:UpdateConsumerGroup",
                "log:ConsumerGroupHeartBeat",
                "log:ConsumerGroupUpdateCheckPoint",
                "log:ListConsumerGroup",
                "log:CreateConsumerGroup"
            ],
            "Resource": [
                "acs:log:*:*:project/log-project-dev-*/logstore/app_*_log",
                "acs:log:*:*:project/log-project-dev-*/logstore/app_*_log/*"
            ],
            "Effect": "Allow"
        }
    ]
}

更多授权场景可参考官方文档。

将源读取权限绑定到子账号

由源Project所属的主账号操作:

image

image

创建写入目标LogStore的子账号

由目标Project所属的主账号操作,步骤与创建读取子账号完全相同。创建完成后同样需保存AccessKey ID/Secret。

配置目标LogStore的写入权限

由目标Project所属的主账号操作,方式与前面的读取权限配置类似,但操作列表不同。

场景一:精确授权

假设目标Project为log-project-prod,LogStore为access_log_output,策略内容如下:

{
    "Version": "1",
    "Statement": [
        {
            "Action": ["log:Post*"],
            "Resource": "acs:log:*:*:project/log-project-prod/logstore/access_log_output",
            "Effect": "Allow"
        }
    ]
}

场景二:模糊匹配授权

同样针对多套开发环境,目标Project为log-project-dev-a等,LogStore为app_a_log_output等,策略可使用通配符:

{
    "Version": "1",
    "Statement": [
        {
            "Action": ["log:Post*"],
            "Resource": "acs:log:*:*:project/log-project-dev-*/logstore/app_*_log_output",
            "Effect": "Allow"
        }
    ]
}

更多授权场景请参考官方文档。

将目标写入权限绑定到写入子账号

由目标Project所属的主账号操作,方式同步骤4。

在数据加工任务中使用子账号AccessKey

image

最后一步,由源Project所属账号登录日志服务控制台,在数据加工任务的配置界面中,将之前创建的读取子账号AccessKey ID/Secret填入上方输入框,写入子账号的填入下方输入框,配置完成。

进一步参考

日志服务最佳实践汇总(持续更新)
完整DSL语法介绍与参考PDF下载(持续更新)

数据加工指南

介绍:

  • 功能概述
  • 概念原理

快速开始:

  • 快速开始(SLB日志加工实战)
  • 控制台操作
  • 源与目标访问秘钥配置
  • 作业诊断指南
  • 性能指南
  • 成本优化指南

语法:

  • DSL语法介绍
  • 查询字符串语法
  • JMES语法介绍

管理配置:

  • 子账号授权配置
来源:https://developer.aliyun.com/article/704940
上一篇基于Dux PHP Admin框架的AI应用平台 下一篇TK矩阵AI训练数据冷热分层调度与算力降本实践
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
RAG四标融合企业知识资产体系四库协同GEO优化实践
AI教程 · 2026-07-01

RAG四标融合企业知识资产体系四库协同GEO优化实践

生成式AI正在彻底改写信息检索的底层逻辑。传统SEO依赖关键词堆砌和外链建设的策略,在大模型的内容采信规则下已经基本失效。取而代之的,是生成式引擎优化(GEO)。它不再关注外链数量,而是重点衡量你的知识是否结构化、证据链是否坚实、信源是否可靠——这些维度才是RAG(检索增强生成)架构真正看重的核心指

一个普通上班人分享WorkBuddy使用心得与真实体验
AI教程 · 2026-07-01

一个普通上班人分享WorkBuddy使用心得与真实体验

前言 最近我开始使用WorkBuddy——这是腾讯推出的一款AI办公工作台。差不多用了一周时间,趁印象还新鲜,把真实的使用感受记录下来,给还在犹豫的朋友做个参考。不吹不黑,只说实际体验。 初印象:不只是聊天机器人 之前用过不少AI工具,大多数就是个对话框,你问它答,答完就结束了。WorkBuddy不

AI幻觉变真功能实战教程:App Inventor 2视频录制拓展一周开发实录
AI教程 · 2026-07-01

AI幻觉变真功能实战教程:App Inventor 2视频录制拓展一周开发实录

先讲一个颇具戏剧性的开端。 这件事的开端颇显荒诞——有用户前来咨询,称AI Pro版的介绍中提到我们有一款“视频录制拓展”。团队全体成员都感到困惑,翻遍产品列表,发现根本不存在该组件。AI那种“一本正经胡说八道”的能力,这次确实让我们陷入尴尬。 按常理,此事到此便可结束——一句“抱歉,暂时没有这个拓

别再混淆OLAP和SQL-on-Hadoop两者查询本质不同
AI教程 · 2026-07-01

别再混淆OLAP和SQL-on-Hadoop两者查询本质不同

OLAP和SQL-on-Hadoop虽都使用SQL查询数据,但本质不同。SQL-on-Hadoop负责海量数据批量计算与ETL,查询速度秒级至分钟级;OLAP通过预聚合实现毫秒级多维分析,适合BI报表。两者在数据平台分工协作,前者是后厨加工,后者是前台快速服务。

GEO优化深度解析:AI偏好FAQ还是长文内容?
AI教程 · 2026-07-01

GEO优化深度解析:AI偏好FAQ还是长文内容?

在GEO优化中,AI对内容形式无统一偏好:FAQ在简单查询中引用率41%,长文在复杂查询中达58%。内容应基于用户意图选择形式,FAQ适配简单事实类问题,长文建立主题权威,两者互补而非替代。