国内首个千亿参数端到端语音大模型 Step-1o 系列迎来重大升级，多模态视觉领域一举夺得双项冠军——这无疑是近期模型升级中最具分量的消息之一。三大核心看点值得关注：Step-1o 系列最新动态、Step-1o Vision 多模态理解大模型的突出优势，以及两款模型的使用入口与榜单成绩。
Step-1o 系列是阶跃星辰全新研发的原生端到端文本、视觉、语音三模态生成理解一体化模型。一个月前，1o 家族的首个模型 Step-1o Audio 正式亮相，这也是国内首个千亿参数端到端语音大模型。今天，新成员 Step-1o Vision 多模态理解大模型已正式上线，同时 Step-1o Audio 语音模型能力也实现了全面升级。相比 Step-1V 系列，Step-1o Vision 在视觉识别、感知、指令跟随、推理等方面取得了显著提升。而升级后的 Step-1o Audio 情商更高，具备更强大的情绪感知与理解能力、个性化的风格表达，声音更自然，支持多语种及方言理解，同时时延更低。两款模型现已全量开放，登录跃问 App 即可体验，Step-1o Vision 也支持在跃问网页端（https://yuewen.cn）调用。
使用入口：跃问 App 右下角➕上传图片即可调用 Step-1o Vision；跃问 App 右上角话筒键发起语音通话即可使用 Step-1o Audio。
Step-1o Vision：更精准，更智能
Step-1o Vision 是 Step-1o 多模态系列中的视觉版本，相比 Step-1V 和 Step-1.5V，架构全面升级，在视觉感知与识别、指令跟随、空间理解与推理等任务上实现了大幅提升。刚上线，便在多个权威榜单中拿下第一——1 月 20 日，LMSYS Org 大模型竞技场 Chatbot Arena 最新榜单中，Step-1o Vision 位列视觉领域中国大模型第一，超越所有国内竞品。同时，在国内权威评测平台“司南”（OpenCompass）多模态模型实时榜单中也位列第一。话不多说，我们找几张图片来考考它。
更精准的视觉理解
Step-1o Vision 能够精准识别复杂图像，包括自然场景、物体细节、图表等，即使图像质量欠佳、存在遮挡或变形，也能准确识别。比如面对物体重叠模糊、多种文字混合的复杂场景，它准确捕捉了画面的复古未来风格，识别出“个人交通工具”、“未来城市”等关键要素，甚至翻译了微小的意大利语——复杂场景理解与多语言识别能力相当出色。
我们上传了一张挤在一起的幼年猫科动物图，试图迷惑它。结果它精准识别了动物数量和品种，还带点幽默感和互动性。
除了基础识别，对于图片中极其微小但关键的视觉细节，Step-1o Vision 的理解也不在话下。比如下面这张图：黑线代表人类知识范围，红圈代表博士的工作。分别传给 Step-1.5v 和 Step-1o Vision，Step-1o Vision 明显更胜一筹——它注意到了 Step-1.5v 遗漏的红色部分（红圈超出黑线），准确解读出“探索和扩展人类知识边界”的含义；对蓝色部分的解读也更加到位，将“相对较小”与“更接近前沿”联系起来；还额外识别了图中未提及的圆形关键信息并正确解读。
再看下面这张图，模型能通过表格、logo 精准识别对应的软件工具，理解了其中的黑色幽默，将软件分为五个等级并逐一介绍。其中，它成功识别了较小的图标（如 Apache OpenOffice 和 LaTeX），图表识别、图像理解以及结合常识总结的能力非常出色。
更智能的视觉推理
Step-1o Vision 不仅看得准，还能进行复杂推理。一张真假折叠屏手机的图片差点骗过我们，它却不仅识别出图中是用铰链连接的三个手机而非真折叠屏，还能根据常识推断这种设计的优缺点。其中正确识别“非实用性”是难点，说明模型对日常生活有认知。对于“把某件物品拿出来需要几步”的推理题，它展示了强大的空间关系理解和逻辑规划能力——准确识别多层堆叠物品的空间关系，按正确顺序给出取出维生素 C 瓶的步骤，特别是正确识别出茶叶罐是侧立着的，这正是理解图片的关键。
Step-1o Audio：情绪丰富、个性表达
去年底发布的国内首个千亿参数端到端语音大模型 Step-1o Audio，一个月后迎来多项提升，在情绪感知与理解、多语种和多方言、通话体验上都有了新突破。一起来听听看。
Step-1o Audio 能精准识别用户语气语调中的情绪，结合语境深度理解情感需求，给出最佳回应——相亲成功时，它是永远不会扫兴的朋友，分享喜悦、恰如其分地提问；疲劳开车时，它能接住负面情绪，给出实实在在的生活建议；玩转四川方言，语调起伏和词汇运用精准把握；教你怎么和男朋友撒娇，语气自然可爱又带点小俏皮；第一次送宝宝上学，它能理解那份牵挂与不舍，安抚焦虑并给出实用建议。无论方言交流还是关键时刻的情感支持，它都能以个性化方式互动，就像身边一个懂你的朋友。
One more thing
1 月 19 日，LMSYS Org 大模型竞技场 Chatbot Arena 最新语言榜单中，Step-2-16K-Exp 是极少数进入前十的国产大模型，超越了 o1-mini、Gemini 1.5 Pro-002 和 GPT-4o-2024-05-13 等知名模型。春节前，Step 系列将继续密集上新，带来更全面、性能更强大的通用大模型。敬请期待！