1. AI助手读取网页的挑战与LLMs.txt的解决方案

如今的AI助手大多具备网络访问能力，能够直接读取网页信息。然而，现代网页除了包含可供阅读的文本HTML外，还充斥着大量为浏览器设计的JavaScript脚本。这些脚本对AI而言属于冗余信息，不仅会占用宝贵的对话上下文长度，还会拖慢响应速度，并使用户承担额外的Token成本。

为解决这一问题，Answer.AI于2024年9月提出了一项方案：网站应提供Markdown格式的内容，以便AI高效读取。具体而言：

• 网站上的每个网页都提供一个Markdown版本，其URL是在原HTML页面的URL后添加.md；
• 网站在根目录添加一个名为llms.txt的Markdown文件，包含每个Markdown页面的链接及简明描述。

可以将此方案理解为网站面向AI的SEO优化——llms.txt相当于面向AI的sitemap.xml。