昆仑万维最近搞了个大动作——正式开源了千亿级稀疏大模型Skywork-MoE。这个模型可不是凭空冒出来的，它是在之前开源的Skywork-13B模型中间检查点（checkpoint）上扩展而来的。按照官方的说法，这是业界首个完整将MoE Upcycling技术落地并开源的千亿参数MoE大模型，也是目前唯一一个能靠单台RTX 4090服务器（8张RTX 4090）搞定推理的千亿MoE开源模型。

具体参数层面，这次开源的是天工3.0研发系列里的中档模型——Skywork-MoE-Medium。总参数量146B，激活参数量22B，内部设计了16个Expert，每个Expert的大小是13B，每次推理只激活其中2个Expert。顺便提一句，天工3.0同系列其实还有两档更大的MoE模型：75B的Skywork-MoE-Small和400B的Skywork-MoE-Large，但这两兄弟暂时不在此次开源之列。

从官方放出的测试数据来看，在相同激活参数量20B（也就是相同推理计算量）的条件下，Skywork-MoE的性能基本摸到了70B Dense模型的天花板。这意味着什么？推理成本直接砍掉了近3倍。更值得玩味的是，Skywork-MoE的总参数量比DeepSeekV2还要小上三分之一，却在更小的参数规模下做到了旗鼓相当的能力——这技术路线选得相当精准。

至于开源诚意，这次可以说是非常彻底。模型权重、技术报告全部公开，免费商用，不需要额外申请。以下是相关资源入口：

模型权重下载：
https://huggingface.co/Skywork/Skywork-MoE-base
https://huggingface.co/Skywork/Skywork-MoE-Base-FP8

模型开源仓库：https://github.com/SkyworkAI/Skywork-MoE

模型技术报告：https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf

推理代码（支持8×4090服务器上8bit量化加载推理）：https://github.com/SkyworkAI/vllm