你有没有遇到过这种抓狂的时刻？ 想快速摸清一个公开的X（原Twitter）账号，于是点开它的主页，一条一条往下刷。想知道它最近在聊什么，长期关注的领域是啥，什么时候发帖最勤快，内容是偏技术流还是生活派，情绪有没有什么波动，以及经常跟哪些标签和人互动。 如果只是几十条内容，手动翻翻还能应付。 但一旦样本量放大到几百条、几千条，里面还混杂着中英日韩各种语言、网络热梗、Hashtag和各种专业术语，这事儿就瞬间变得极其低效。 更要命的是，人工看完，最后得到的结论通常是这样： “这人好像挺关注AI。” “这号应该是个技术博主。” “他好像是个夜猫子。” “最近看起来情绪不太好。” 这些判断不能说错。 但问题是：**证据呢？** 这些结论是从哪条具体推文得出的？能不能回溯？能不能更新？能不能把这种“感觉”变成结构化的、可验证的结果？ 这正是 `xcrawler` 这个项目想要解决的核心问题。 --- ## 不止是爬虫，更是一个可追溯的分析引擎 `xcrawler` 是一个面向公开X/Twitter时间线的开源用户画像分析工具。它能抓取指定账号的公开内容，经过清洗、翻译、分析后，生成一份相对结构化、可复盘、可追溯的用户画像报告。 它的定位很明确：不是单纯的“抓数据”，也不是简单地把推文喂给大模型，让它信口总结一句“这人喜欢什么”。 它要做的是： > **把公开的X/Twitter时间线，转化为有据可查的用户画像、兴趣地图和行为洞察。** 目前，它已经具备的能力包括： - 公开推文抓取 - 新推文与历史推文的增量同步 - 多语言检测与翻译 - 兴趣画像分析 - 时间行为分析 - 情感趋势分析 - 生活事件信号检测 - Hashtag / Mention 网络分析 - 图表与HTML报告生成 - CSV数据导出 - 证据推文（evidence tweet）追溯 - 本地缓存与多用户数据隔离 所以，我更愿意把它定义为一个：**公开社交内容的洞察工具。** --- ## 为什么这事儿有搞头？ 公开的社交内容里，到处都是信号。 一个人长期转发什么、反复讨论什么、高频使用哪些词、在何时发声、与哪些话题或账号产生连接，这些都在无形中勾勒出他的内容偏好、表达方式和社交路径。 但这些信号是碎片化的。单条推文没多大意义，真正有价值的是长期样本中涌现出的重复模式。 比如： - 这个账号是不是长期死磕AI？ - 它关心的是大模型应用，还是底层模型、Agent、工程化？ - 内容更偏向研究、产品、投资，还是纯个人表达？ - 它在什么时间段最活跃？ - 最近的内容方向有没有发生转向？ - 它经常跟哪些标签和账号互动？ - 情绪是稳如老狗，还是波动剧烈？ 这些问题，靠人力“感觉”也能判断。但人力判断的问题在于：慢、不稳定、无法复盘。 `xcrawler` 要做的，就是把这些“感觉”尽量变成结构化的结果，并且保留好证据链，让你能随时回头查验。 --- ## 它能在哪些地方派上用场？ 我最初做这个项目，是为了更系统地理解一个公开账号长期输出的内容特征。后来功能逐渐丰富，发现它适用的场景还挺广。 比如： **公开账号研究**：快速理解一个账号长期来在关注什么、表达什么、活跃节奏如何。 **创作者画像**：分析创作者的内容方向、兴趣标签、表达风格和潜在受众信号。 **内容策略分析**：观察某个领域里高频出现的话题、标签、情绪和发布时间规律。 **品牌与竞品观察**：分析品牌官方号、竞品账号或行业KOL的公开内容变化。 **受众洞察**：对一批公开账号进行横向分析，理解他们公开表露出的兴趣、话题和行为模式。 **营销投放前的人群理解**：在策划内容、投放或合作前，先对目标人群的兴趣结构有个底。 **多语言内容整理**：把日语、英语、韩语、法语等多种语言的推文统一翻译，再做后续分析。 **长期变化追踪**：通过增量抓取和运行记录，持续观察一个账号内容随时间的演变。 当然，必须强调一个非常重要的前提：`xcrawler` 只适用于分析**公开内容**。它绝对不能用于骚扰、跟踪、人肉搜索、挖掘隐私、判断敏感身份，或任何违反平台规则和当地法律的行为。工具越有能力去“分析”人，它应有的边界就越重要。 --- ## xcrawler 具体能分析出什么？  目前 `xcrawler` 的核心能力主要集中在以下几个方面。 --- ### 1. 抓取公开推文，且支持增量同步 工具能抓取指定账号的原创推文，并排除转发和回复。除了首次的全量抓取，它还支持增量同步： - 只抓取比本地数据更新的推文 - 向后补全更早的历史推文 - 根据目标日期自动停止历史抓取 - 合并数据时自动去重 - 在遇到API限流时，会耐心等待并尝试恢复 这对长期观察一个账号来说至关重要。因为在实际使用中，没人希望每天都全量重跑一遍。更常见的需求是：今天补点新内容，明天再挖点历史缺口，后天更新一份分析报告。 所以，增量抓取不是锦上添花，而是长期使用的基石。 --- ### 2. 自动处理多语言内容 X/Twitter上的内容经常是多语言混战的。一个账号可能今天发英文，明天写日文，后天又切回中文，中间还夹杂着缩写、梗图、链接和专有名词。 如果直接分析原文，后续的聚类、画像和情感判断会变得一团乱麻。 因此，`xcrawler` 会先做文本清洗和语言检测，再把非中文内容翻译成中文，以便后续统一分析。 这里有几个关键设计： - 中文内容直接跳过翻译，避免浪费。 - 已翻译的文本写入缓存，后续运行不重复翻译。 - 多条推文批量翻译，显著降低LLM调用次数。 - 翻译失败会记录失败列表，方便后续重试。 这一点对成本控制至关重要。只要项目用到LLM，工程上就必须直面三个问题：**慢任务、失败恢复、成本可控。** --- ### 3. 生成兴趣画像，但极力避免过度推断 兴趣画像是这个项目最核心的能力之一。  `xcrawler` 会尝试从长期内容中提取稳定的兴趣，而不是根据单条推文就做夸张的推断。 它会关注： - 反复出现的话题 - 长期出现的关键词 - 内容领域的分布 - 核心兴趣与边缘兴趣 - 置信度 - 支撑结论的 tweet_id 在prompt和输出结构里，我刻意加入了一些非常克制的原则： - 不根据单条内容推断长期兴趣 - 不做人格、心理、价值观方面的推断 - 证据不足时，主动降低置信度 - 输出结构化的JSON - evidence_tweet_ids 必须源自输入数据 换句话说，这不是让AI“自由发挥”。它更像是要求AI在明确的边界内做归纳：你可以总结，但要告诉我证据在哪；你可以判断，但别把不确定性伪装成确定结论；你可以分析公开内容，但别跨过隐私和伦理的底线。 这是我认为它区别于普通AI总结工具的核心所在。 --- ### 4. 分析时间行为和活跃节奏 一个账号在什么时间活跃，本身就是一种很有价值的行为信号。  `xcrawler` 会分析： - 24小时内的发帖分布 - 工作日与周末的活跃度差异 - 最活跃的时段 - 最活跃的星期 - 不同时间段的内容密度 - 发布节奏的特征 这些信息能帮助我们理解一个账号的内容发布习惯。比如：他到底是个“白天选手”还是“夜猫子”？是工作日输出稳定，还是周末才来灵感？是稳定更新，还是间歇性爆发？这些数据可以作为内容研究和账号观察的极佳辅助信号。 --- ### 5. 做情感趋势分析，但失败绝不伪装成成功 工具也支持对翻译后的推文做情感分类：positive、neutral、negative、unknown。 这里有个小细节我认为很重要：如果某个LLM批次的请求失败，结果不会被默认归为 `neutral`，而是标记为 `unknown`。 为什么？因为失败不等于中性。如果把失败的数据悄悄归为neutral，最终的报告看起来会很平滑，但数据已经被污染了。这类细节容易被忽略，但它直接影响到分析的可信度。 在数据分析和AI工程里，有时候真正危险的并不是失败，而是：**失败了，但看起来像成功。** --- ### 6. 检测生活事件，但默认保持克制 `xcrawler` 也可以从公开推文中识别一些明确提到的生活事件，例如生日、感情状态、学业/职业变化、健康事件、旅行搬家、重大购物等。 但这个模块我做得非常谨慎。因为生活事件分析天然更接近隐私边界。即使内容是公开发布的，也不意味着工具可以无限放大、聚合和推断。 所以，项目默认对敏感的生活事件做了隐藏处理。HTML报告中的证据原文也支持脱敏。这不是形式主义，而是我认为这类工具必须具备的底线设计。 --- ### 7. 分析 Hashtag / Mention 网络 除了文本内容，社交信号本身也很有价值。 `xcrawler` 会统计高频 Hashtag、高频 Mention、二者的共现关系，并生成相应的图表和网络分析结果JSON。 这些信息能帮助我们理解：这个账号经常参与哪些话题？它常跟哪些账号互动？它的内容更靠近哪个社交圈层？某些话题和账号是否经常被绑定提及？ 相比单纯的文本总结，Hashtag和Mention更像是账号的“外部连接图谱”，能补充兴趣画像中看不到的社交关系信号。 --- ### 8. 生成可视化报告和数据导出  最终，`xcrawler` 会生成图表和HTML汇总报告，包括24小时发帖分布、星期分布、语言分布、兴趣标签、情感趋势、情感分布，以及Hashtag/Mention图表。同时支持导出CSV文件。 更重要的是，报告里会尽量保留 evidence tweet。也就是说，当报告说“这个账号关注AI”时，你可以直接点回去，看看这个结论究竟来自哪几条具体的推文。 整个项目一直坚持的原则就是：**AI分析不应该只给结论，还应该尽量保留完整的证据链。** --- ## 从个人脚本到开源工具的蜕变 `xcrawler` 最开始只是一堆随机命名的脚本。能跑，但绝不适合开源。因为一个真正给别人用的开源项目，不能只满足于“作者自己知道怎么运行”。 所以，接下来做了大量的工程化封装。 --- ### 统一的CLI：别让新用户理解一堆脚本 现在，项目推荐使用统一的命令入口： ```bash xcrawler fetch xcrawler fetch-more xcrawler translate xcrawler analyze interest xcrawler analyze beha vior xcrawler analyze sentiment xcrawler analyze network xcrawler report xcrawler export csv ``` 这样新用户不需要先搞懂每个Python脚本的调用关系。只需要知道：我要抓取、我要翻译、我要分析兴趣、我要生成报告。CLI就应该围绕用户任务来组织，而不是作者的个人习惯。 --- ### 配置管理：让项目更容易复用 项目通过 `.env` 管理配置，例如： ```bash X_BEARER_TOKEN=your_x_bearer_token DEEPSEEK_API_KEY=your_deepseek_api_key TARGET_USERNAME=MiracleHe TIMEZONE_OFFSET=8 ``` 也支持用CLI参数覆盖 `.env`： ```bash xcrawler fetch -u some_user --pages 3 ``` 这样既适合固定分析一个账号，也方便临时切换目标。 --- ### 多用户缓存隔离：数据不打架 不同用户的数据会按用户名保存，互不干扰。 ```bash cache/{username}_raw_tweets.json cache/{username}_translated.json cache/{username}_interest_profile.json ... ``` 这看起来只是个文件命名问题，但对于真正长期使用来说非常关键。只要涉及多账号、多次运行、多版本结果，数据隔离就是基础设施。 --- ### 执行计划与参数校验：让慢任务不再可怕 这类项目天然会遇到慢任务：X API抓取、多语言翻译、LLM分析、图表生成等等。 所以我加入了参数校验和执行计划。例如，会检查 `pages >= 1`、`batch-size >= 1`、温度参数是否合理等。一些任务启动前，还会显示执行计划，比如预计抓取多少页、最多多少条推文、翻译批次数、是否会调用LLM等。 这能避免一种很糟糕的体验：命令一敲下去，用户完全不知道接下来会干什么，也不知道会不会烧掉大量token。**慢任务并不可怕，可怕的是慢任务不透明。** --- ### 运行记录：让每次分析都能复盘 项目会记录每次分析运行的元数据：用户名、分析类型、模型、参数、输入范围、起止时间、运行状态、耗时、LLM调用次数、token用量、失败批次等。 这些记录会写入本地文件，方便你回头复盘：这次分析用了什么模型？分析了多少内容？有没有失败？花了多少token？下次要不要缩小输入规模？对个人项目来说，这或许不是第一眼最酷的功能，但对长期使用而言，它非常重要。因为可复盘，才有可能持续优化。 --- ### 测试和CI：告别“在我电脑上能跑” 项目目前包含了94个单元测试，覆盖了文本清洗、语言检测、翻译缓存、API mock、CLI参数解析、证据校验、隐私保护、情感分析失败处理、CSV导出等关键路径。 同时，项目也接入了GitHub Actions进行持续集成。 这并不意味着项目已经完美，但至少它已不再是一个“只能在你电脑上跑的”代码了。我希望它能逐步变成一个真正可维护、可复用、可协作的开源项目。 --- ## 慢任务和成本，是怎么处理的？ 这个项目在实际运行中，会直面两个现实问题：慢、贵。 所以做了以下几类优化。 --- ### 1. 增量抓取，避免每天全量重跑 ```bash xcrawler fetch-more --pages 3 ``` 只补充新增内容和历史缺口，而不是每次从头再来。 ### 2. 翻译缓存，避免重复调用LLM 已经翻译过的内容会存入缓存，下次运行不会重翻。 ### 3. 批量翻译，减少API调用次数 多条推文合并为一次LLM调用，比逐条翻译效率高得多。 ### 4. 控制抓取规模 ```bash xcrawler fetch --pages 3 ``` 先小规模验证配置，再决定是否扩大范围。 ### 5. 控制分析输入规模 ```bash xcrawler analyze interest --limit 300 ``` 对专业兴趣分析设置输入上限，避免一次性塞太多内容给模型。 ### 6. 失败不伪装成功 就像前面说的，情感分析失败时，标记为 `unknown`，而不是默认为 `neutral`。 --- ## 隐私和边界：这类工具，必须先把话说清楚 我一直觉得，这类工具最容易被误解。因为它分析的是人公开发布的内容。 **公开**，不等于可以无限使用。 **可抓取**，不等于可以滥用。 **能分析**，不等于应该推断一切。 所以 `xcrawler` 的定位非常明确： **它适合用于**：公开账号研究、创作者分析、内容策略、品牌观察、受众洞察、学习和研究、LLM应用工程化实践。 **它不应该用于**：骚扰、跟踪、人肉搜索、非公开信息推断、敏感身份判断、歧视性画像、违反平台规则或当地法律的行为。 项目默认将数据保存在本地。敏感生活事件默认隐藏。HTML报告中的证据原文支持脱敏。README中明确写了responsible use的边界。 工具本身不能替使用者做伦理判断，但一个负责任的工具，至少应该在设计上保持克制。 --- ## 快速上手 安装： ```bash git clone https://github.com/yuanrengu/xcrawler.git cd xcrawler python3 -m venv .venv source .venv/bin/activate python3 -m pip install -e ".[all]" cp .env.example .env ``` 编辑 `.env`，填入你的 X API Token 和 DeepSeek API Key： ```bash X_BEARER_TOKEN=your_x_bearer_token DEEPSEEK_API_KEY=your_deepseek_api_key TARGET_USERNAME=MiracleHe ``` 运行： ```bash xcrawler fetch -u MiracleHe --pages 3 xcrawler analyze interest -u MiracleHe xcrawler analyze beha vior -u MiracleHe xcrawler analyze sentiment -u MiracleHe xcrawler analyze network -u MiracleHe xcrawler report -u MiracleHe ``` 生成的数据、图表和报告都会保存在本地的 `cache/` 目录下。 --- ## 当前限制 我不想把它包装成一个“完美产品”。它现在已经能用，但仍有不少短板： 1. **依赖 X API 权限和额度**：不同账号的API权限会影响可抓取的数据量。 2. **首次运行需下载 embedding 模型**：这会消耗一些时间和磁盘空间。 3. **LLM 分析会产生 token 成本**：尤其是大量推文翻译、情感分析和兴趣画像分析。 4. **兴趣分析还可以继续升级**：目前有输入上限保护，但更理想的形态是分片提取、候选归并、置信度重排和证据校验。 5. **长期多用户分析需要更强的存储层**：当前默认是JSON文件，适合个人和小规模场景。后续可以考虑加入SQLite。 6. **项目命名可能调整**：`xcrawler` 偏技术脚本风格，未来如果产品化，可能会换个更有品牌感的名字。 --- ## 后续计划 接下来，计划继续推进几件事： - SQLite Store - LLM 成本看板 - 更完整的分片分析和归并策略 - 更好的HTML报告模板 - 更多开箱即用的分析 preset - 示例数据和demo - 更清晰的项目品牌化 - 更完善的文档和贡献指南 希望它不只是一个“能跑的脚本”，而是一个可以被复用、可以被审计、可以持续演进的开源工具。 --- ## 最后 公开社交内容里信号遍地。但真正有价值的不是“抓到数据”，而是把数据整理成可复盘、可解释、可追溯的洞察。 `xcrawler` 尝试做的，就是这么一件事：**把公开的X/Twitter时间线，转化为用户画像、兴趣地图和行为洞察。** 如果你对公开账号研究、创作者分析、受众洞察、内容策略，或者LLM应用工程化感兴趣，欢迎试用，也欢迎提 issue 和 PR。