Mythos架构被22岁小伙“逆推”开源了，MoE和注意力借鉴DeepSeek
听说Mythos太危险被封印？有人反手就给他“重建”并开源了
最近AI圈有个挺有意思的事儿：传说中的Claude Mythos模型架构，虽然被Anthropic“封印”了，但社区可没闲着。这不，一个基于公开研究和主流推测的“重建版”——OpenMythos，已经开源了。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
这个项目实现了一个核心架构：带有MoE路由机制的循环深度Transformer。它的精髓在于，通过跨专家的权重共享和条件计算，来实现一种迭代式的深度思考。简单说，就是让模型学会“反复琢磨”同一个问题。
已有研究证实，这种架构仅用一半的参数，就能获得与传统模型同等的效果。这听起来是不是有点碘伏？
不堆参数，堆循环
把这些技术碎片拼凑起来的人，是22岁的Kye Gomez，他也是Swarms智能体框架的创始人。
他设计的这套循环深度Transformer架构，核心思路可以归结为三点：
- 让同一组模型权重最多反复运行16次。
- 每次运行时，走不同的专家路径。
- 整个推理过程在潜在空间内完成，不对外输出中间结果。
这三者结合，指向一个结论：让一个问题“多想想”，可能比单纯堆砌参数更高效。
回顾过去两年，AI行业的标准做法是堆叠上百层不同的Transformer层，每一层学习不同的特征，代价就是参数量爆炸式增长。
而循环深度Transformer换了个思路：它不用上百层，只用几层，但允许这几层反复循环运行，最多16遍。每一遍的计算，都基于前一轮产出的结果继续深化。
问题来了：同一个模块跑16遍，难道不是重复计算、浪费算力吗？
关键在于，每次循环激活的其实是不同的“专家”。循环块内部集成了混合专家层，MoE路由器在每一轮循环中，都会动态选择激活不同的专家子集。在MoE的具体设计上，借鉴了DeepSeek-MoE的思路：使用大量细粒度的路由专家，配合少量始终在线的共享专家。
对此，Gomez有一个精妙的总结：MoE提供了领域知识的广度，而循环则赋予了推理的深度。
广度和深度都有了，还需要解决稳定性问题：如何确保循环不会“跑飞”或者发散？
来自UCSD和Together AI的一篇新论文《Parcae: Scaling Laws For Stable Looped Language Models》提出了解决方案：LTI稳定循环注入技术，确保每一轮循环都能稳定收敛。
实验数据很有说服力：一个仅7.7亿参数的循环深度Transformer模型，在性能上追平了13亿参数的标准Transformer模型。参数量少了近一半，效果却一样。这其中的效率提升，不言而喻。
最后一块技术拼图是连续潜在空间推理。这16轮推理全部在模型的隐藏状态向量中完成，不生成任何中间的文字标记。直到最后一轮循环结束，模型才一次性输出最终答案。
这与我们熟悉的思维链推理完全不同。思维链是“想一步，写一步，再想一步”，中间过程全部暴露。而循环深度Transformer是“内部反复琢磨16遍，最后才说一句话”，整个推理过程完全内化。
为了验证这种架构的潜力，Kye还引用了俄亥俄州立大学的一篇论文，其中对循环Transformer架构做了两个关键实验。
第一个实验关于系统性泛化。
在训练中从未见过的知识组合，在推理时，循环Transformer依然能正确回答，而标准Transformer直接失败。这证明循环并非简单的重复计算，而是能够进行真正的“更深层思考”，从而组合出新的解决方案。
第二个实验关于深度外推。
模型在训练时只接触过20步的推理链，但在测试时直接给出需要30步推理的问题。循环Transformer的应对策略很直接：在推理时自动增加几轮循环即可。而标准Transformer面对这种超长推理链，表现直接崩溃。
这些实验结果揭示了一个关键趋势：当前的大语言模型在预训练中已经记住了海量事实知识，真正的瓶颈在于知识的灵活组合能力。模型往往无法将已知的事实串联起来，去回答新颖、复杂的问题。而循环机制，似乎免费解锁了这种组合推理能力。
如果这些结论得到广泛验证，那么AI模型发展的主流路径，可能将从“训练更大的模型”转向“让现有模型在推理时多想几遍”。这无疑是一个更具成本效益和实用性的方向。
至此，Anthropic的Mythos是否真的采用了这套架构，似乎已经不那么重要了。重要的是，关于循环Transformer的猜想和开源实现，已经吸引了学术界和工业界的广泛目光。更多的理论验证与实验探索，显然已经在路上了。
参考链接：
[1]https://x.com/KyeGomezB/status/2045660378844024994
[2]https://arxiv.org/abs/2604.07822[3]https://arxiv.org/abs/2604.12946
相关攻略
全球大模型资本棋局：DeepSeek的“出山”与行业深水区 当全球大模型竞赛进入白热化阶段，一个有趣的现象正在发生：那些曾以技术“硬核”自居、坚持“自给自足”路线的玩家，也开始重新审视资本的重量。近日，国内AI领域的标杆企业之一——由幻方量化孵化的DeepSeek（深度求索），传出了成立以来的首次外
听说Mythos太危险被封印？有人反手就给他“重建”并开源了 最近AI圈有个挺有意思的事儿：传说中的Claude Mythos模型架构，虽然被Anthropic“封印”了，但社区可没闲着。这不，一个基于公开研究和主流推测的“重建版”——OpenMythos，已经开源了。 这个项目实现了一个核心架构：
不堆参数，原地「循环思考」16次：揭秘Claude Mythos核心架构 这听起来像是一个技术传奇。Anthropic严防死守的Claude Mythos模型架构，竟被一位22岁的年轻创业者成功“逆向工程”。 这并非内部资料泄露，也非员工跳槽所致。 而是初创公司CEO Kye Gomez，运用第一性
在信息爆炸的时代，如何读懂热门文章背后的数据？ 如今，网上每天涌现的热门文章数不胜数，但真正有价值的，往往是藏在那些阅读量、点赞数背后的数据密码。要破解这些密码，有两样工具不可或缺：一是深度的思考，二是联网的视野。 deepseek深度思考：不止于表面数字 所谓深度思考，可不是简单地看一眼数据图表就
深度掌握DeepSeek：从入门到精通的实践指南 在人工智能工具层出不穷的今天，如何高效驾驭一款强大的模型，让它真正成为你工作与研究的得力助手？这背后，其实有一套经过验证的方法论。今天，我们就来系统梳理一下，如何将DeepSeek的潜力发挥到极致。 一、明确使用目的 一切高效应用的起点，都始于一个清
热门专题
热门推荐
三季报收官，光伏企业交出了近年难得的尚佳成绩 三季报发布完毕，光伏行业总算交出了一份近年来难得的、还算不错的成绩单。市场等这一刻，确实等了挺久。 根据Choice光伏设备板块收录的78家企业财报，整个板块三季度的净利润达到了7 58亿元。这个数字怎么看？不妨对比一下：就在二季度，板块的净亏损还高达4
北京天兵科技天龙三号火箭首飞失利解析 最近，北京天兵科技自主研发的天龙三号大型液体运载火箭，在酒泉卫星发射中心执行首次飞行任务时遭遇失利，这无疑是给国内商业航天关注者带来了一次震动。这款被寄予厚望的火箭，瞄准的是近地轨道20吨级的可回收运力，其设计初衷是通过低成本、高频次的发射模式，抢占一箭36星组
苹果芯片实战：48台Mac mini搭建本地AI集群，如何碘伏云端语音识别？ 最近科技圈有个挺有意思的消息。知名播客应用Overcast的开发者Marco Arment，自己动手搭了个“大家伙”——一个由48台苹果Mac mini组成的服务器集群。关键是，这个集群没走寻常路，它完全绕开了云端AI服务
纯电赛道再进化：领克10系列如何重新定义“运动轿车”？ 如果问，纯电时代最让人怀念传统燃油车的是什么？很多人会把票投给两件事：说走就走的补能，和随心所欲的操控。最近，领克用一场全球首秀给出了自己的答案。旗下全新的中大型运动轿车领克10，以及更极致的性能版本领克10+联袂登场。这不仅仅是两款新车，更像
苹果正酝酿一款“可自定义”的Vision Pro，核心框架支持模块化拼装 一则来自供应链和专利领域的消息，引起了科技圈的关注。4月8日，有外媒报道指出，苹果似乎并不满足于当前的一体化设计思路，其正在深入探索如何打造一款高度可自定义的Apple Vision Pro。未来的VR AR头显，用户或许能像