目标用户群体

LLaVA 非常适合需要同时进行图像理解与自然对话的用户场景——无论是普通用户日常询问“这幅画中的人物是谁”，还是科研人员完成复杂的科学推理任务，它都能提供有效支持。

典型应用场景

举例来说，拿蒙娜丽莎的照片问它，它能告诉你作者是谁、画作有哪些特征、目前保存在何处——就像身边一位懂艺术的朋友。

它还能执行光学字符识别（OCR），将图片中的文字提取出来，并附带详尽的背景说明。甚至可以进行视觉推理，例如复现 OpenAI GPT-4 技术报告中那些需要看图分析的经典案例。

核心功能亮点

LLaVA 的设计思路非常直接：将视觉编码器与 Vicuna（一个对话模型）连接起来，让二者协同工作。为了实现这一点，团队使用纯语言的 GPT-4 生成了多模态的语言-图像指令数据，相当于用“文本老师”培养出了“图文学生”。

整个训练过程分为预训练和微调两个阶段。最终结果在视觉聊天和科学问答方面均展现了令人瞩目的表现。尤为难得的是，数据、代码、模型检查点全部开源，任何人都可以自由使用或改进。

LLaVA 官网入口：https://lla va-vl.github.io/