网页内容抓取经常让人头疼：复制粘贴出来的总是导航栏、广告、按钮这些干扰信息，核心正文被淹没在混乱的HTML代码中，还得手动清理。更麻烦的是，许多网站加入了反爬机制，一次请求就返回403或验证码。使用浏览器自动化工具虽然有效，但速度慢、资源占用高，单个请求耗时几秒，效率极低。
最近，GitHub上一个名为 webclaw 的项目（已获得1.7K Star）提供了一种高效解决方案。它使用Rust编写，专为AI工作流设计，能在不启动完整浏览器的情况下，通过模拟浏览器TLS指纹绕过大多数反爬机制，并自动提取核心正文内容。
核心功能详解
webclaw 的设计理念是“抓得准、抓得快、抓得干净”，以下是其核心功能。
1. 精准提取，Token消耗降低90%
原始HTML中充斥着大量导航链接、CSS样式、脚本代码和重复页脚，这些对AI阅读是纯粹的浪费。webclaw的提取引擎采用九步优化流程，通过文本密度、语义标签、链接比例、位置信息等指标对DOM节点进行评分。导航栏、广告、页脚等低分节点会被自动过滤，只保留正文和标题。这意味着，在AI工作流中，Token消耗可降低90%，大大提升处理效率。
2. 超快速度，性能提升20倍
传统方案（如Playwright、Selenium）需要启动完整浏览器实例，每个请求耗时2-3秒。webclaw不启动浏览器，直接在TLS层面模拟浏览器行为。对于静态页面，平均响应时间仅为118ms，提取10KB页面只需0.8ms。整体性能比Chrome方案提升约20倍，非常适合批量处理。
3. 无缝集成AI工具
webclaw内置MCP（Model Context Protocol）服务器，可无缝接入Claude Code、Cursor、Windsurf等主流AI工具。通过一条命令即可完成配置，让AI助手直接执行网页抓取、站点爬取、内容对比等操作，极大简化了AI工作流中的数据获取环节。
4. 输出格式多样
webclaw支持多种输出格式，包括：
- Markdown：默认格式，适合阅读和编辑。
- LLM优化格式：进一步去除重复链接和空段落，是喂给大模型的最佳选择。
- 纯文本：简洁无格式，适合直接处理。
- JSON：结构化数据，方便程序化使用。
- HTML：保留原始结构，适用于特定场景。
安装与使用
安装方式
webclaw提供多种安装方法，选择适合自己的即可：
- 一键安装：
npx create-webclaw - macOS / Homebrew：
brew tap 0xMassi/webclaw brew install webclaw
提示：如果安装过程中遇到网络问题，请确保设备能够正常访问GitHub和npm仓库。
基础用法
安装完成后，使用以下命令即可开始提取网页内容：
- 提取单页内容，默认输出Markdown：
webclaw https://example.com - 指定LLM优化格式：
webclaw https://example.com --format llm - 只保留主内容，过滤所有非核心元素：
webclaw https://example.com --only-main-content - 爬取整个文档站，深度为2：
webclaw https://docs.rust-lang.org --crawl --depth 2
适用人群
- 知识库（RAG）开发者：将网页内容提取为干净格式，直接喂给大模型，避免污染上下文。
- AI开发者：通过MCP一键接入，让Agent自动抓取网页数据。
- 内容创作者：快速提取网页核心内容，整理成结构化资料。
- 数据分析师：批量抓取网页数据，提取结构化信息。
常见问题
webclaw 能处理需要登录的页面吗？
webclaw 主要专注于静态页面提取，对于需要登录的页面，建议先通过其他方式（如浏览器扩展）获取页面内容，再使用webclaw进行提取。未来版本可能支持Cookie注入。
LLM优化格式和Markdown格式有何区别？
LLM优化格式会进一步去除重复链接、空段落和无意义标记，生成更紧凑的文本，适合直接作为大模型输入。Markdown格式则保留更多可读性，适合人工编辑和展示。
webclaw 支持动态加载的页面吗？
webclaw 不执行Ja vaScript，因此无法处理完全依赖动态加载的页面。对于这类页面，建议结合无头浏览器或使用其API方案。