直到 llms.txt 这一标准横空出世,才真正解决了网站与AI之间的沟通难题。不论你是开发者还是网站站长,它都是一剂对症的良方。今天,我将详细梳理 llms.txt 的下载、安装与使用流程,帮助你的网站或文档彻底摆脱AI“读不懂”的尴尬局面。

1. 为什么使用 llms.txt?
尽管当前的大语言模型(LLM)能力出色,但仍存在几个难以回避的痛点:
- 上下文窗口有限:完整的网站内容根本塞不进模型的处理范围。
- HTML 太杂乱:大量JavaScript、广告、导航栏等元素,不仅让AI解析费力,还白白消耗Tokens。
- 信息实时性不足:最新发布的API和文档,往往不在AI的训练数据中。
llms.txt 就像是为AI量身打造的一张“高精度导航地图”——它类似于 robots.txt,但直接告诉AI:看这里,这几个Markdown文件才是核心干货,别在杂乱无章的HTML里浪费时间了。
2. 工具介绍
llms.txt 是由 Answer.AI 团队提出的一套标准化方案。简单来说,你只需在网站根目录下创建一个名为 llms.txt 的Markdown文件。该文件需包含:
- 项目的简要概述。
- 指向更详细文档(Markdown格式)的链接。
- 一些可选的背景信息。
3. 获取方式
该标准完全开源且免费,无需购买任何软件。你只需按照下文提供的格式,在服务器根目录下创建一个文本文件即可。如果需要自动化工具,可以参考社区中的 llms_txt2ctx 等开源项目。
4. 详细安装/使用教程
想让你的项目被AI快速准确地读取?只需三步:
第一步:创建 llms.txt 文件
在网站根目录下(例如 www.your-site.com/llms.txt)新建文件,格式如下:
# 项目名称
> 这里写一句简洁的简介,让AI快速定位你的项目功能。
> 这里可设定核心规则,例如:“本项目不兼容React,仅支持原生JS”。
## 核心文档
- [快速开始](https://your-site.com/docs/quickstart.md): 介绍如何在5分钟内上手
- [API 详解](https://your-site.com/docs/api.md): 包含所有接口参数说明
## 可选内容
- [更新日志](https://your-site.com/docs/changelog.md): 详细的迭代记录
第二步:提供 Markdown 版本的网页
这一步属于进阶操作。建议为每个HTML文档页面都准备一个同名的 .md 版本。例如 docs/intro.html 对应提供 docs/intro.html.md。这样AI抓取时可以直接读取纯文本,既节省资源又提升准确度。
第三步:集成到现有框架(可选)
如果你使用以下框架,直接安装现成插件就能实现自动化:
- VitePress: 使用
vitepress-plugin-llms - Docusaurus: 使用
docusaurus-plugin-llms - Drupal: 搜索
llm_support模块
5. 使用效果
完成适配后,当你或你的用户在 Claude、GPT-4o 等支持联网搜索或文档读取的AI工具中,只需告诉它“去读取 llms.txt 中的核心文档”——AI便会绕过杂乱的导航栏,直接从你标注好的Markdown链接中获取信息。代码生成的准确率将至少提升80%。
6. 常见问题/踩坑
- Q: 为什么AI还是读不到? A: 请检查服务器是否屏蔽了爬虫,或者
llms.txt中的H1标题是否书写正确。 - Q: 这个文件会影响SEO吗? A: 完全不会。它与
sitemap.xml互补,专门为AI准备,不影响百度、谷歌对HTML页面的正常索引。 - Q: 必须放在根目录吗? A: 强烈建议放在根目录,这样AI智能体最容易自动发现它。
7. 总结与资源获取
在这个AI爆发的时代,让网站变得“AI友好”已成为每位开发者的必修课。llms.txt 这种轻量级标准,成本极低、收益极高。强烈建议所有做开源项目或文档站的朋友,都在自己的站点中加入它。
希望这篇分享能帮你彻底解决AI提示词总是偏离目标的烦恼。
