先说几个核心判断:阶跃AI最新版本实现的,不是PPT上的“多模态概念”,而是真正可以在办公场景里直接用的工具。一张截图能填报销单、一段会议录音能自动生成带时间戳的纪要、Excel图表里的异常数据点它能一眼揪出来——这些功能现在都已经上线了。
视觉理解:从“看到”变成“读懂”
以往我们说AI能“看”图,更多是识别出图里有什么物体。但这一版的不同之处在于:它真的能理解图表里的语义。
操作很简单:打开一张带数据图表的PDF或截图,选中图片,右键点“交给阶跃AI分析”,系统就会调用Step3oVision模型。模型会先分离文字和图形区域,然后对坐标轴、图例、数据标签做语义对齐,最后输出一段结构化的描述。比如面对一张柱状图,它不会只说“有三根柱子,中间那根最短”,而是会告诉你“Q3销售额下降12%”。这才是真正的“理解”。
不过这里有个关键前提:这个功能依赖本地GPU加速。如果显卡驱动没有更新到2026.06版以上,视觉解析会降级为CPU模式,处理时间增加3倍不说,细粒度标注也会丢失。想验证模型是否正常工作,可以上传一张带误差线的折线图,输入指令“标出置信区间超出阈值的点”,看看它能不能正确响应——如果能,说明视觉语义链已经打通了。
语音-文本联合推理:会议录音秒变可编辑纪要
会议纪要是很多人的刚需。新版本提供了两条路径:
如果你用的是飞书或钉钉,会议结束后直接点击阶跃悬浮球里的“提取本次会议纪要”,系统会自动拉取录音文件,启动Step-Audio2模型处理。另一种方式是手动上传MP3或WA V文件,然后在输入框里告诉它“按发言角色分段,标记技术术语,高亮待办事项”,模型会同步执行声纹分离、术语识别和意图抽取三重任务。
这里有一个关键升级值得注意:旧版本只做ASR转写——就是把语音转成文字,但转完之后你还要自己看、自己整理。新版本在转写结果上叠加了三层处理:实体链接(比如看到“K8s”会自动关联到集群配置文档)、因果标记(比如“因数据库超时→触发熔断”)、以及跨句指代消解(比如“它”会被还原成“订单服务”)。简单说,它不仅是记下了谁说了什么,还理解了话里话外的逻辑关系。
图文混合推理:用菜谱图解反推食材采购清单
这个功能的实际场景比听起来更有意思。假设你随手拍了一张家常菜谱的截图丢给AI——不是要它念出菜名和步骤,而是让它帮你做逆向推导。
操作流程分四步:第一步,拖入带步骤图的菜谱截图;第二步,输入指令“列出所有未标注但实际需要的辅料,并按超市分区排序”;第三步,模型会调用STEP3-VL-10B进行跨模态对齐——它要识别图中锅具的材质(这暗示了是否需要耐高温调料)、火候符号(判断是否需要提前腌制)、成品色泽(反推酱油添加的时机),最终生成一份带采购动线建议的清单;第四步,点击清单末尾的“同步至企业微信采购群”,系统会自动唤起微信客户端完成消息发送。
这项功能依赖MCP协议v1.2的tool_call扩展字段。需要特别注意的是:如果没有在高级设置中启用“多模态工具链直连”开关,这个功能压根不会出现。
