先说说LongCat AI这个方向——它其实并不做通用文档理解,而是专注于一个非常具体的场景:文本驱动的图像编辑。简单来说,用户只需一句话,系统就能精准修改图片中对应的区域。比如“把左上角的logo换成蓝色图标”,或者“给这杯咖啡加上一层奶泡”。这类看似简单的指令,实际上需要语义、空间与视觉三者的联合建模,而不仅仅是NLP能力的简单延伸。

那么,它究竟是如何实现的?为什么别人难以做好,而它却成功了?关键在于三套紧密耦合的机制:
中文动词结构解析
模型内部拥有独立的的中文语义分支,专门用于解析中文动词搭配所隐含的操作类型。这并非简单的关键词匹配,而是深入理解动词背后的语义动作:
“变成”“换成”属于整体主体替换
“加上”“添加”“戴”属于局部叠加,保留原有结构
“遮住”“去掉”涉及掩码覆盖或擦除
“移到”“换到”则需要空间重定位和坐标推理
空间词到像素坐标的硬对齐
这一机制值得单独强调——它并未依赖常见的注意力热图那种模糊映射,而是在训练阶段强制让文本中的方位词与图像空间建立可微分的坐标约束。
“左/右/上方/中间”被直接建模成图像网格上的坐标条件,
“紧挨着杯子右边”则会触发区域级的关系建模,而不仅仅是匹配“杯子”的包围框。
更贴心的是,针对“左上角”“正上方”“斜后方”这类中文里高频但模型容易混淆的表达,团队专门做了数据增强。
分层文本引导注意力
在扩散编辑过程中,文本嵌入并非一次性注入,而是逐层引导:
早期关注整体布局和目标物体定位
中期聚焦动作范围,例如“耳朵”只影响头部局部区域
后期严格绑定细节生成,确保字体、纹理、光影与原图一致
这种分层机制确保了“给猫加狗耳朵”不会连带改变毛发颜色或背景虚化程度——这才是真正的关键所在。
它不做OCR、不解析表格、不提取文档实体。但当一张含有文字说明的产品图上传后,输入“把第二行小字‘599元’改成红色加粗”,它能准确定位那一行像素块,生成风格匹配的新字,而且周围阴影、反光、纸张褶皱全部保留。这背后是语义、空间、视觉三者的联合建模,而非单点NLP能力的延伸。
