Leanstral 1.5是什么
Leanstral 1.5,通俗来讲,是Mistral AI最新开源的专门用于形式化验证的大规模语言模型,针对Lean 4自动定理证明进行了深度定制。该模型采用119B参数的MoE混合专家架构,支持256k超长上下文处理能力,并且能够解析图像与文本的混合输入。在miniF2F、PutnamBench等数学证明基准测试中,它已经取得了目前最优秀的SOTA成绩——换言之,代表了当前最顶尖的水平。其核心目标在于:推动AI在形式化数学验证与代码正确性证明领域实现更高程度的自动化。
Leanstral 1.5的主要功能
- 自动定理证明:基于Lean 4语言,能够自动输出完整的形式化数学证明,涵盖代数、几何以及数论等高难度学科领域。只需提供一个数学命题,模型即可生成一条可被严格验证的证明链。
- 形式化验证:对软件代码和数学命题执行严格的逻辑验证,确保每一步推导都遵循Lean 4的类型系统与公理体系。这相当于为代码加上了一道数学层面的安全锁。
- 图文联合推理:支持在证明过程中解析并理解数学图表、公式截图等多模态输入,辅助处理复杂的几何与符号推导任务。例如,即使输入一张几何图形,模型也能进行解读和分析。
- 长文档证明生成:凭借256k的上下文窗口,能够处理整本教材或长篇论文级别的证明任务,并保持跨章节的逻辑一致性。
- Agent式交互证明:以代码Agent模式自主调用Lean 4编译器、检索数学库并迭代修正错误,实现端到端的自动化流程——用户只需提交命题,后续工作由模型自动完成。
Leanstral 1.5的技术原理
- 稀疏混合专家架构(MoE):总参数量达119B,但每个token仅激活6.5B参数。这好比拥有一支庞大的专家队伍,每次只调用最对口的少数专家参与工作,从而实现了高效率与低成本。
- Lean 4专用语料训练:在大量形式化数学库(如mathlib4)、竞赛题目(IMO、Putnam)以及人工标注的证明路径上进行了精细的后训练。数据输入具有高度针对性。
- 强化学习微调:利用证明是否成功这一明确反馈信号,结合强化学习优化策略网络,持续提升模型在复杂定理上的搜索与构造能力。通过不断的试错过程,模型变得愈发强大。
- 多模态编码器融合:集成了视觉编码器,能够将LaTeX公式图片、几何图表等转化为与文本统一的嵌入表示,从而实现跨模态的联合推理。
- 长上下文位置编码:采用了支持256k tokens的扩展位置编码方案,确保超长证明链条中的依赖关系不会丢失。上下文越长,对编码能力的要求也越高。
如何使用Leanstral 1.5
- 访问HuggingFace下载权重:前往
https://huggingface.co/mistralai/Leanstral-1.5-119B-A6B获取开源模型文件与相关配置文件。这是最直接的获取途径。 - 配置Lean 4运行环境:在本地安装Lean 4编译器以及mathlib4依赖库,保证模型生成的代码能够被正确解析与验证。环境准备就绪后,模型方可顺利运行。
- 加载模型并接入证明接口:使用Transformers或vLLM加载模型权重,通过API或本地脚本将自然语言命题转化为Lean 4代码。这一步起到了关键的连接作用。
- 启动自动证明Agent:调用模型生成证明策略,模型会自动进行迭代编译、错误修正与库检索,直到输出
proof complete或达到尝试上限。整个过程完全自动化,无需人工介入。 - 在线快速体验:登录Mistral AI Console(
https://console.mistral.ai/),选择labs-leanstral-1-5端点,直接输入命题进行验证。这是最快捷的方式,无需本地部署。
Leanstral 1.5的核心优势
- 推理成本极低:得益于MoE架构,每个token仅激活6.5B参数。相比同等性能的Dense模型,在GPU显存与算力消耗上大幅降低。既节省成本,也节约算力资源。
- 数学基准全面领先:在miniF2F测试中达到100%饱和,PutnamBench上解出587/672题,FATE-H达到87%——这些成绩均为当前SOTA水平。数据有力地证明了其优越性。
- 原生支持Lean 4:针对形式化验证领域进行了深度优化,生成的代码可直接通过Lean编译器检查,有效避免了通用模型常见的语法错误。专业对口,少走弯路。
- 超长上下文支持:256k的上下文窗口意味着它能处理整本书籍或大型软件规范的形式化验证,远超同类竞品的上下文限制。篇幅再大也能从容应对。
Leanstral 1.5的项目地址
- 项目官网:
https://mistral.ai/news/leanstral-1-5/ - HuggingFace模型库:
https://huggingface.co/mistralai/Leanstral-1.5-119B-A6B
Leanstral 1.5的同类竞品对比
开源协议Apache 2.0(完全开源)MIT(开源)
架构119B MoE(每token 6.5B)671B MoE(每token 37B)
专用语言Lean 4Lean 4
miniF2F性能100%饱和高分但未公开饱和
上下文长度256k tokens128k tokens
多模态支持支持图文输入主要支持文本
推理成本每token激活参数少,成本低激活参数量大,成本较高
Leanstral 1.5的应用场景
- 数学研究辅助:帮助数学家快速验证数学猜想、生成引理证明草稿,加速代数几何、数论等前沿领域的探索。相当于拥有一位不知疲倦的得力助手。
- 竞赛培训与解题:自动解答IMO、Putnam等高水平数学竞赛题目,并提供可机器验证的完整形式化解题过程。竞赛选手可以将其作为陪练工具进行训练。
- 软件正确性验证:为航空航天、金融系统等关键软件生成形式化规约与验证证明,替代部分人工审计工作。安全要求越高的领域,其应用价值越突出。
- 教育领域自动批改:在高等教育中自动验证学生提交的Lean 4证明作业,并给出精确到每一步的反馈意见。老师能够减轻负担,学生也能快速定位问题所在。
- AI安全对齐验证:用于验证复杂AI系统的逻辑一致性与策略安全性,通过形式化方法确保关键决策不存在漏洞。这在AI信任领域是一个重要的发展方向。
