MiniMax Agent支持自动生成网页爬虫脚本：前提是先开通“代码生成”权限，并提供目标网页的 cURL 命令与结构化提取需求（包括页面类型、字段定位方式、输出格式）。在正式运行前，还需要检查选择器是否有效、请求头是否完整，确保脚本能够正常执行。

使用MiniMax Agent自动生成爬虫脚本，可以省去手动编写Python爬虫代码、处理反爬机制以及分析HTML页面结构的复杂流程。只需输入目标网页和所需抓取的数据字段，通常就能快速获得可直接运行的脚本文件。

确认MiniMax Agent访问权限与环境

先登录MiniMax官方控制台，进入Agent Playground页面，确认当前账号已开通“代码生成”能力权限；如果权限未开通，系统通常无法输出完整的可执行爬虫脚本。

随后打开浏览器开发者工具（F12）→ 切换到Network选项卡 → 刷新目标网页 → 找到主HTML请求（通常为Name列中路径结尾无扩展名，或以.html结尾的请求）→ 右键复制cURL（bash）命令。

将复制好的cURL命令粘贴到MiniMax Agent对话框的第一句，后面紧接你的数据提取需求，例如：“提取所有商品标题、价格、评分，输出为CSV”。【如果不提供cURL或网页URL，Agent大概率只会返回通用爬虫模板，而不是可真实运行的脚本】

构造精准指令让Agent输出可用爬虫

方法一：结构化三段式指令

① 目标页说明：清楚说明网页类型（如电商列表页、新闻详情页、表格数据页）以及分页特征（是否存在“下一页”按钮、URL是否包含page=参数、是否为滚动加载）；

② 字段定义：为每个提取字段标明HTML定位方式，例如“价格：class=‘price-now’下的span标签文本”或“作者：div.meta span.author-name”；

③ 输出要求：明确保存格式（CSV/JSON）、编码方式（UTF-8）、是否包含表头、是否自动创建目录，例如“保存为./data/products.csv，中文字段名，首行写列名”。

方法二：示例引导法

更稳妥的方式，是先给Agent一个足够简洁但信息完整的标准示例，例如：“https://example.com/list 页面，提取h3.title文本→存入title字段，div.price数字→存入price字段，输出CSV”，然后再补充你自己的真实网址和字段需求。这样通常能显著提升Selector识别的准确率，让生成的网页爬虫脚本更可用。

校验与修正Agent生成的脚本

正式运行前，先检查脚本开头是否包含requests、BeautifulSoup或lxml等导入语句——如果缺失，执行时基本都会报错；如果Agent使用了selenium但没有提示安装webdriver，也需要你手动补全相关环境。

接着重点确认CSS选择器或XPath是否真的能命中目标元素：把Agent生成的 select('div.item h2') 直接复制到浏览器Console中，再执行 document.querySelectorAll('div.item h2').length。如果返回结果为0，就说明这个Selector已经失效，必须重新调整，否则爬虫无法正确抓取数据。

如果脚本中包含time.sleep()或headers伪装设置，建议保留；如果完全没有设置headers，【直接运行很可能被403拦截，务必手动补充'User-Agent'字段】。

最后将脚本保存为crawl.py → 在终端执行python crawl.py → 观察终端输出是否打印出预期字段值，而不是空列表、空数据或AttributeError报错。