先谈谈我的结论——LongCat AI在图表处理领域走出了一条与众不同的技术路线。它并未依赖通用视觉模型对图表进行“硬性识别”,而是围绕数据集构建、多模态理解以及指令执行,打造了一套完整的数据闭环系统。简单来说,这一方法的逻辑链条清晰且扎实,从数据准备到推理输出,每个环节都具备针对性设计。

那么,它具体是如何实现的?
ChartNet数据集:奠定图表理解的第一个基石
许多模型在“识别图像”时往往流于宽泛,而LongCat恰恰在这方面下足了功夫。它依托MIT与IBM Research联合发布的ChartNet——一个专为图表理解打造的百万级多模态数据集,训练基础因此与众不同。420万张合成图表、9.4万个人工验证样本、3万张真实图表,覆盖柱状图、折线图、饼图等24种常见图表类型,以及Matplotlib、Seaborn等6种主流绘图库的输出样式。这些数字背后意味着什么?意味着模型在训练阶段就深度接触了真实图表的各类结构细节——坐标轴逻辑、图例位置、数值标签排布等,从而建立起对图表语义的深层感知。它并非泛泛地“认出图表”,而是对每根坐标轴、每个标签、每条曲线都能精准抓取关键信息。
VLM双路径解析:不止于描述,更能结构化还原
LongCat对图表的理解并不满足于“描述图中有什么”这样的表层工作。它更擅长的是反向还原出结构化信息。输入一张截图或PDF中的图表图像,模型可以生成对应的数据表格——包括行列标题和具体数值矩阵。同时,它还能支持重建图表的可编辑版本,例如SVG或代码形式,保留原始样式与逻辑关系。这一能力在复盘历史数据、做横向对比时尤为实用。
此外,对于包含中文图例、单位标注、多级坐标轴的金融或科研图表,LongCat也能准确解析文本内容与数值映射关系。这已不是简单的“看到什么”,而是真正“读懂”了图表的内在结构。
Image-Editn局部编辑:让图表“听懂指令”
除了识别和重建,LongCat还有一大亮点:它能理解自然语言指令并对图表进行“外科手术式”编辑。例如,用户说“将蓝色曲线替换为红色虚线,并把图例文字‘Q1销量’改为‘2024年一季度’”,模型便会执行具体操作,同时锁定非目标区域(坐标轴、网格线、标题等)不变,确保整体风格一致、文字渲染自然。其中,中文图例的识别与重写能力也经过专门优化,可避免字体错位、字形模糊等问题。这意味着,图表不再是静态的“一次性产出”,而是可以随需求动态调整的活数据。
与VitaBench 2.0的能力互补
VitaBench虽然主要面向智能体行为评测,但其对用户偏好演进、上下文连续性的建模思路,也反哺到了图表理解场景。例如,当用户多次要求对比上月数据时,模型能够关联历史图表中的时间维度与指标定义,而非孤立地处理每张图。这种连续性建模方式,让它在分析趋势、追踪变化时表现得更像是真正在“思考”,而非简单“记忆”。
归根结底,LongCat AI在图表理解这件事上没有走捷径,而是一步一个脚印,把从数据到编辑的每个环节都打磨到位。它所做的,看似不复杂,却恰恰是那些容易被忽视的关键细节。
