只需 8G GPU显存 即可运行此项目。

代码链接（已开源）：https://github.com/showlab/Image2Paragraph

一、项目背景与动机

如何将图片精准地转化为高质量文本，一直是计算机视觉领域的热点问题。传统方法（如 Show and Tell 等 Image Caption 和 Dense Caption 任务）严重依赖大量人工标注。通常流程是：借助亚马逊 AMT 等标注平台，为每张图片人工写一句描述，并强制规定名词数量、颜色等规则。这种“一句短话描述一张图”的方式，存在一个根本性缺陷：严重的 One-to-many 问题（即一张图片可能对应多种不同的文本描述）。由于图片与文本之间信息不对称，使用这种数据训练出的模型极易陷入平凡解（这也是 Pretrain 中常见的问题）。

随着 LLM（大语言模型）尤其是 ChatGPT 展现出强大的逻辑推理能力，研究人员发现：如果将 Bounding Box 和 Object 信息输入给 GPT4，它能够自然地推理出物体之间的位置关系，甚至想象出物体之间的潜在联系。由此产生了一个自然的想法：利用 GPT4 为每张图生成高信息量的段落，将 One-to-many 转化为 One-to-one。