1. Making Text Embedders Few-Shot Learners：文本嵌入模型的少样本学习新方法

大型语言模型（LLMs）凭借其decoder-only架构，天然具备强大的上下文学习（In-Context Learning，ICL）能力。简单来说，只需给模型提供几个示例，它就能在现场学会处理之前从未见过的新任务。智源团队正是看中了这一特性，决定将ICL应用到全新的方向——文本嵌入生成。他们的具体做法是将任务示例直接嵌入查询中，让模型“照葫芦画瓢”。团队推出的新模型名为bge-en-icl，实验结果表明，效果提升十分显著。更重要的是，研究团队还深入探索了如何高效地将LLM用作嵌入模型，包括不同注意力机制、聚合方法等，最终发现保留原始框架往往效果最佳。在MTEB和AIR-Bench这两个权威基准测试中，这套方法直接刷新了最高分数。模型、代码和数据集均已开源，地址附后。

论文: https://arxiv.org/pdf/2409.15700

2. HelloBench: Evaluating Long Text Generation Capabilities of Large Language Models：评估大模型长文本生成能力的新基准

LLM在长上下文理解等任务上表现出色，各类评测基准层出不穷，但有一项能力长期被忽视——长文本生成。简单测试就会发现，许多模型在这方面其实相当吃力。为填补这一空白，研究团队推出了HelloBench，一个基于真实世界问题的层次化长文本生成基准。他们按照布卢姆分类法，将长文本生成拆分为五个子任务：开放问答、摘要、聊天、文本补全和启发式生成。更妙的是，配套的评估方法HelloEval与人工评估结果高度一致，却能大幅节省人力和时间。团队对约30个主流LLM进行了全面测试，结果发现：绝大多数模型连4000字都写不出来，即使指令中明确标明了字数要求；少数能写长的模型也存在严重重复、质量下降等问题，令人不忍直视。为验证HelloEval的有效性，团队将其与ROUGE、BLEU等传统指标对比，结果显示HelloEval与人工评估的契合度最高。代码已在GitHub上开放。

论文: https://arxiv.org/pdf/2409.16191

3. MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling：空间分解建模实现可控角色视频合成

角色视频合成的核心目标在于生成可控的动画——你需要指定谁在做什么、在什么场景下做。传统3D方法需要多视角捕捉，限制较大，难以快速建模任意角色。近期2D方法借助扩散模型突破了这一瓶颈，但在姿态通用性和场景交互方面依然存在难题。MIMO这一新框架正是为此而生：用户只需简单输入，即可生成可控的角色视频，且具有良好的可扩展性、能驾驭新奇3D动作、还能处理交互场景。其思路十分巧妙：将2D视频压缩为紧凑的空间代码——毕竟视频天生就是三维的。具体做法是利用单目深度估计将2D帧的像素提升至3D，再根据深度将视频片段拆分为三个空间组件：主要人体、底层场景和漂浮遮挡物。这些组件被编码为标准身份码、结构化动作码和完整场景码，作为合成的指挥信号。空间分解的好处显而易见：用户控制更加灵活，动作表达更加复杂，合成效果也更符合3D交互逻辑。

论文: https://arxiv.org/pdf/2409.16160

4. OmniBench: Towards The Future of Universal Omni-Language Models：面向通用全语言模型的全面评测

多模态大模型（MLLMs）近年来一直致力于整合和理解多种数据类型，但能否同时处理和推理多个模态？这个问题始终未得到充分检验，原因很简单——缺少一个全面的多模态评测基准。OmniBench正是为此而生。它严格测试模型同时识别、解释和推理视觉、音频和文本三种输入的能力。研究团队将能完成这种三模态处理的模型称为全语言模型（OLMs），即全能语言模型。OmniBench的亮点在于高质量的人工标注，每道题都要求模型在三个模态之间来回推导才能答对。实验结果相当扎心：i）开源OLMs在三模态上下文中的指令遵循和推理能力存在显著短板；ii）所有基线模型的准确率均在50%以下，即便为模型提供图片和音频的替代文本表示也无济于事。这充分说明，现有MLLM训练范式几乎完全忽略了从文本、图像和音频中构建一致上下文的难题。未来研究方向已十分明确：开发更鲁棒的三模态整合技术与训练策略。代码和实时排行榜已上线。

论文: https://arxiv.org/pdf/2409.15272

5. MonoFormer: One Transformer for Both Diffusion and Autoregression：一个Transformer同时搞定扩散与自回归

当前大多数多模态方法要么分别使用不同的骨干网络处理自回归文本生成和扩散视觉生成，要么将视觉数据离散化后用一个网络硬撑。而这篇论文的思路极其简洁：能否让一个Transformer同时服务于自回归和扩散？可行性来自两个关键观察：第一，Transformer已在扩散视觉生成上证明了自己的实力；第二，自回归和扩散训练时的Transformer结构非常相似，唯一区别在于自回归使用因果注意力掩码，而扩散使用双向注意力掩码。实验结果表明，这条路行得通——在图像生成质量上不输现有SOTA方法，同时文本生成能力也完整保留了下来。