项目简介
本项目专注于解决一个核心需求：高效抓取网页内容，将其转换为 Markdown 格式，从而让您的 AI 搜索应用能够准确理解和处理。简而言之，在 RAG（检索增强生成）系统中，它能够将普通链接转化为大语言模型（LLM）易于读取的文本。
实现原理清晰易懂：首先通过无头浏览器或直接发送 GET 请求获取目标页面，接着利用 Readability 算法提取并清洗出主要内容，最后将剩余的 HTML 结构转换为结构化 Markdown 格式。
运行
如需运行，请先创建 config/dev.yaml 配置文件。操作非常简单，只需从 config/temp.yaml 复制配置模板即可。
随后在本地环境中启动项目，前提是您已安装 Chrome 浏览器。执行以下命令即可快速运行：
make dev
项目启动后，请在浏览器中访问以下地址：
http://127.0.0.1:4090?u=https://github.com/zzzgydi/webscraper
此外，您也可以使用 curl 命令直接调用接口：
curl -X POST -H "Content-Type: application/json" -d '{"url_list":["https://google.com"]}' http://127.0.0.1:4090/v1/scrape
服务器正常启动后，运行日志将自动写入 output/log 目录中。
部署
在生产环境部署时，需创建 config/prod.yaml 配置文件，并将 Chrome 远程调试地址设置为 ws://chromedp:9222。随后执行一条命令即可完成部署：
docker compose up