从"平面世界"到"球形世界"：为什么这个问题如此棘手

当你戴上VR眼镜，被一个360°的虚拟世界完整包裹时，你可能不会想到，为这个球形世界"画出"内容，对当今最先进的AI来说，其实是一件非常别扭的事情。

现代AI图像生成模型，比如大家熟知的那种"输入文字就能生成图片"的系统，本质上是在一张普通的矩形画布上工作的。它们被训练在平面图片上，就像一个从来只画过普通照片的画家，突然被要求在一个球体表面上作画一样。球体表面有个非常特殊的规则：如果你沿着赤道方向一直走，你会回到原点——球体的左边缘和右边缘其实是同一条线，不能有任何断裂。另外，在南北极点，所有的经线都汇聚成一个点，这里的画面需要特殊处理，否则就会出现奇怪的拉伸或花纹。

普通AI生成的图片，如果直接拉伸成360°全景图（学术上叫做"等距圆柱投影"，英文缩写ERP，可以理解成把地球仪的表面剥开展平成一张长方形地图），就会在左右两端出现明显的"裂缝"，就像一张世界地图的左右两端无法拼合在一起；同时南北极点处的画面也会一团混乱。

解决这个问题的传统方案大致分为两类。一类是"重新培训"画家——把AI模型在大量360°全景图上重新训练一遍，让它学会球形世界的规则。这个方法代价极大，不仅需要收集稀缺的高质量全景图数据，还需要消耗巨大的计算资源，而且一旦换了新的基础模型，整个训练过程就得重来。另一类是"边画边修"——不重新训练模型，而是在生成图片的过程中，不断地将画面分割成小块、拼接、修补，就像用无数小碎片拼出一个球形的拼图，虽然最终能拼出来，但速度极慢，而且拼缝处往往不够自然。

研究团队提出的SpheRoPE，走的是第三条路：不重新训练模型，也不做复杂的拼接修补，而是直接在AI"理解空间位置"的底层机制上动手术，让它天生就懂球形世界的规则。这是全球首个既无需训练、又无需优化迭代的360°全景生成框架。

AI是如何"感知"位置的：从"路标系统"说起

在深入了解SpheRoPE的创新之前，有必要先理解一件事：AI模型是怎么知道图片中每个像素在哪里的？

现代图像生成AI采用一种叫做"旋转位置编码"（RoPE）的技术来处理这个问题。你可以把它理解成一套城市路标系统。在一座普通的城市里，每个路口都有一个唯一的编号，比如"东3街与北5路的交叉口"。AI就是靠这套编号来区分"这个像素在左上角"还是"那个像素在右下角"的。具体来说，RoPE会给每个位置赋予一组不同频率的"旋转信号"：高频率信号像是精细的门牌号，负责区分相邻的细节；低频率信号像是大区域的区划标识，负责确定整体的方位感。

然而，这套路标系统是为普通的方格城市设计的。在方格城市里，最左边和最右边是两个完全不同的地方。但是，在球形世界里，"最左边"和"最右边"其实是同一条街——经度-180°和经度+180°是同一条线。而且在南北极，所有的街道都汇聚成一个点，所有的横向路标都指向同一个地方。原有的路标系统完全没有考虑到这些特殊的球形规则，因此用它来生成全景图，就注定会出问题。

SpheRoPE的核心思想，就是对这套路标系统进行精准改造，让它既能保留原有的细节感知能力，又能理解球形世界的特殊规则。

SpheRoPE的"改造手术"：高频低频各司其职

研究团队发现，直接把整套路标系统改成球形版本是行不通的。原因在于，高频信号和低频信号承担着截然不同的任务。如果把高频信号也改成球形的，就像把城市里每一个门牌号都换成弯曲的经纬度坐标，会导致相邻像素之间的细节信号出现严重的"错位"，生成的图像会出现模糊、摩尔纹等难看的伪影。

于是，研究团队做了一个精妙的区分：对高频信号和低频信号采用不同的改造策略。

对于高频信号，改造方式叫做"循环线性编码"。原理是：高频信号本来就像一根高速振荡的弹簧，在整张图的宽度范围内会完成许多个完整的振荡周期。只要确保这些振荡在左右两端能够完美对齐——即最左边和最右边恰好处于同一个振荡相位——那么高频信号就能自然地"首尾相接"。研究团队通过一个叫做"谐波量化"的技术来实现这一点：把每个高频信号的频率微调到最接近的整数倍，确保它在整张图的宽度上恰好完成整数个振荡周期。这样，左右两端的高频信号就能无缝对接，局部纹理的拼缝问题迎刃而解。

对于低频信号，处理则要复杂得多。低频信号在整张图的宽度上振荡得很慢，甚至连一个完整的周期都完成不了。如果强行把它们量化成整数倍，就需要大幅改变信号频率，这会彻底打乱AI对整体空间布局的感知，就像突然把城市的区划地图全部替换掉一样，AI会完全找不到北。

对于这部分信号，研究团队采用了一个更根本的解决方案：把它们从线性坐标系彻底换成球面坐标系。具体来说，对于图片中的每一个像素位置，研究团队先根据它在全景图中的行列位置，计算出它对应的球面坐标——经度和纬度，然后再把这个坐标转换成三维空间中的X和Y坐标（三维笛卡尔坐标）来表示位置。这样的好处是：当经度从-180°变化到+180°时，X和Y坐标会画出一个完整的圆，自然地回到原点，完美实现左右边缘的衔接。在极点处，无论经度是多少，X和Y坐标都会收敛到同一个数值，完美实现极点处的汇聚效果。

研究团队还引入了一个"分割点"的概念：通过计算每个频率信号是否能够完整地量化为整数倍，自动找到高频和低频的边界，让两种编码策略各自接管自己擅长的频率范围。在论文附带的可视化图中，可以清晰地看到：原来的线性编码在左右边缘处有明显的色彩断裂，而SpheRoPE的编码则在边缘处平滑过渡，在极点处颜色均匀汇聚——正是球形世界所需要的效果。

让AI"主动"往全景方向想：语义失真引导技术

仅仅改造路标系统还不够。研究团队还观察到一个有趣的现象：当你用"360°全景图"这样的描述词来提示现有的AI模型时，它其实已经能生成一些有全景感觉的图片了——画面会有极点拉伸的效果，地平线也会有一些弯曲感。这说明AI在训练过程中确实接触过一些全景相关的内容，在它的"潜意识"里已经有了一些全景图的概念，只是这种感知不够强烈、不够精确。

研究团队把这个发现用于另一个机制：语义失真引导（Semantic Distortion CFG）。

现有AI图像生成技术普遍使用一种叫做"无分类器引导"（CFG）的技巧来增强文字提示的影响力。这个技巧的原理，就是让AI在生成每一步时，同时计算"按照提示词生成"和"不按任何提示词生成"两个方向的差异，然后沿着差异方向加速前进，使最终结果更贴近提示词所描述的内容。

SpheRoPE把这个双向机制扩展成了三向机制。在原有的"按提示词"和"不按提示词"两个方向之外，加入了第三个方向：按照一个专门描述等距圆柱投影几何特征的"几何提示词"生成。这个几何提示词的内容大致是在描述全景图应有的视觉特征，比如"无缝360°全景，准确的球形几何，连续的水平环绕"等。

在每一步生成过程中，AI会同时计算三个预测结果：按照用户提示词的预测、按照空白提示词的预测、以及按照几何提示词的预测。最终的生成方向，是这三个预测的加权组合：主要沿着用户提示词的方向前进，同时额外增加一个"向几何提示词方向偏转"的分量。两个参数独立控制，用户可以根据需要调整语义强度和几何强度之间的平衡。当几何强度为零时，整个机制自动退化为标准的双向引导，不影响原有功能。

这个机制的精妙之处在于：它利用了AI模型已有的全景感知能力，通过巧妙的引导方式将其激活并放大，而无需修改模型的任何参数。

VAE解码器的边缘修复：一个被忽视的细节

除了上述两个核心机制之外，研究团队还注意到一个容易被忽视的问题。现代图像生成AI通常会先在一个压缩的"潜在空间"里生成图像，然后通过一个叫做VAE（变分自编码器）的解码器，把压缩图像还原成最终的高清图片。VAE解码器内部使用卷积操作，而卷积操作默认在图像边缘填充零值，这会导致即使SpheRoPE已经在潜在空间里完美处理了左右边缘的衔接，解码器在还原图像时依然会在边缘引入新的断裂。

对此，研究团队借鉴了360Anything方法的思路，采用了"循环填充"技术：在VAE解码之前，将图像的左端内容复制到右侧边缘之外，右端内容复制到左侧边缘之外，让解码器在处理边缘时能够"看到"另一端的内容，从而实现真正连续的周期性边界。解码完成后，再把额外填充的部分裁掉。这个操作几乎不增加任何计算开销，却能彻底消除VAE解码引入的边缘断裂。

实验结果：零训练能打败精心调教的专业模型吗

研究团队在多个标准测试集上对SpheRoPE进行了评估，结果相当出色。

在静态全景图生成方面，研究团队使用了ODI-SR数据集，这个数据集包含1200张各种室内外场景的真实全景图，所有参与评测的方法都没有在这个数据集上训练过。评测指标涵盖了两类：一类是通用图像质量指标，通过从全景图中截取视角图片来计算，包括FID（衡量生成图片与真实图片分布的距离）、KID、IS（衡量图片质量和多样性）和CLIP相似度；另一类是全景专用指标，包括FAED（专为全景图设计的质量评估指标）和DS（不连续性得分，直接衡量左右边缘的缝合质量）。

在全景专用的FAED指标上，使用Flux.2骨干网络的SpheRoPE取得了所有方法中的最佳成绩，得分为25.40，明显优于需要完整重新训练的PAR方法（34.79）和使用LoRA微调的DiT360方法（43.42）。这意味着，在全景图的整体结构完整性方面，零训练的SpheRoPE比那些花费大量资源专门训练的方法表现得更好。在不连续性得分上，SpheRoPE也保持在有竞争力的水平，说明边缘拼接效果良好。在通用图像质量指标上，SpheRoPE的FID和KID成绩与训练方法相当，其中KID和IS成绩与专门训练的PAR方法持平。

在360°视频生成方面，研究团队将SpheRoPE应用于LTX 2.3视频模型，并在两个提示词集合上进行了测试：一个是来自SphereDiff方法的20个场景描述，另一个是研究团队专门设计的20个高挑战性场景（包含快速运动、多主体交互、复杂光照变化等）。在SphereDiff-20测试集上，SpheRoPE在所有六个VBench评估维度上均排名第一，包括图像质量、文字对齐度、时序稳定性、运动流畅度以及主体一致性和背景一致性。在高挑战性的Stress-20测试集上，SpheRoPE在五个维度上排名第一，唯一落后的是CLIP文字对齐分数，被DynamicScaler方法以多次拼接的方式超过——但DynamicScaler的生成速度比SpheRoPE慢了整整46倍（每帧51秒对比1.1秒），而且在时序稳定性上表现最差。

研究团队还进行了基于大型语言模型的全面评估，使用GPT-4o从14个不同视角对每张全景图的失真程度、边缘连续性、图像质量和美观度四个维度进行1到5分的评分。SpheRoPE在边缘连续性和图像质量上大幅超越SphereDiff，生成速度比SphereDiff快超过20倍（62秒对比1274秒每张图）。

最能说明问题的是用户偏好研究。研究团队招募了18名评估者，让他们在交互式360°全景图查看器中，对SpheRoPE与六个竞争方法的生成结果进行盲测对比，共收集320对评判结果。结果显示：评估者在综合质量上以56.5%到95.2%的比例偏向SpheRoPE，在文字对齐度上以50%到95.2%的比例偏向SpheRoPE，并且在与所有六个方法的对比中均保持明显优势。

消融实验：每个设计选择都有其必要性

研究团队通过系统的消融实验，验证了每个设计选择的必要性。

当只使用高频循环编码、不使用低频球面编码时，生成图片的左右边缘确实能够拼接，但由于低频RoPE信号偏离了模型训练时的分布，全局结构出现严重异常，画面中间出现了奇怪的失真和伪影。当只使用低频球面编码、不使用高频循环编码时，全局球面拓扑和极点汇聚效果良好，但局部纹理细节模糊，有严重的模糊感或摩尔纹——因为球面坐标变换破坏了相邻像素之间的线性距离关系。只有两种编码策略协同工作，才能同时保证全局拓扑正确和局部纹理清晰。

同样，单独使用SpheRoPE时，边缘连续性大幅改善，但全局图像的真实感和分布符合度（FAED）有所下降——因为模型在被强制的球形位置编码约束下，对整体场景布局的把握变差了。单独使用语义失真引导时，全局图像质量改善，但边缘拼接问题依然存在。两者结合才能达到最佳效果。

研究团队还验证了频率分割阈值、球面编码的半径缩放、几何提示词的具体内容、语义失真引导的强度参数，以及引导在去噪过程中的时序分配（是前期集中引导还是后期集中引导）等多个超参数的影响。结论是：引导主要在去噪的前期阶段发挥作用，后期集中引导几乎没有效果；方法对超参数的选择在合理范围内（大约三到十之间）相当稳健，不同参数下的结果差异很小。

插件式灵活性：一个方法打通所有场景

SpheRoPE的另一个重要优势是其架构无关性。由于研究团队只修改了位置编码逻辑和引导机制，而没有触碰模型的任何参数，这套方法可以直接插入任何使用RoPE位置编码的生成模型。研究团队在Flux.1、Flux.2两个图像生成骨干网络以及LTX 2.3视频生成骨干网络上均进行了验证，三者都能产生高质量的360°全景输出。

更令人欣喜的是，由于模型参数完全未改变，模型原有的所有条件控制能力都得以保留。研究团队展示了图像条件生成的效果：输入一张普通照片（比如戴着彩色眼镜的柯基犬，或者手持玩具的宇航员），SpheRoPE可以直接生成以该图像为参考的360°全景图，并且精细的身份特征和风格都得到了准确保留。对于LTX 2.3，研究团队还实现了全球首个零训练360°视频与音频同步生成——生成的全景视频带有自然同步的音效，为沉浸式媒体创作开辟了全新可能。

这种灵活性也意味着，随着基础模型的不断更新迭代，SpheRoPE可以立即应用于新模型，无需重新适配，完全规避了传统训练方法"模型一更新就要重训"的痛点。

方法的边界：诚实面对局限性

研究团队在论文中也坦诚地指出了SpheRoPE的局限性，这些局限性同样值得关注。

方法有两个前提条件：其一是基础模型必须使用RoPE位置编码，若基础模型采用其他位置编码方式（如固定正弦编码或可学习的绝对位置编码），则需要完全不同的改造思路；其二是基础模型必须在训练过程中接触过全景图或类似全景图的内容，SpheRoPE能做的是放大和引导这些潜在的全景感知能力，而不是凭空创造。

在失败案例方面，当提示词带有强烈的"透视感"先验——比如"工作室灯光"、"浅景深"这类典型的普通相机拍摄效果——模型可能会生成普通的透视图而非真正的全景图。另外，当场景内容较为简单时，模型可能会通过重复结构性元素来填充整个360°视野。

在视频生成方面，目前为了防止模型在帧间破坏球形拓扑约束，不得不通过提示词强制限制场景必须"静止"、相机必须固定，只允许极细微的大气动态。生成包含复杂主体运动或镜头运动的360°视频，目前仍是未解决的挑战。

在计算开销方面，语义失真引导需要在每个去噪步骤中计算三个预测而非标准CFG的两个，意味着网络前向计算次数增加了1.5倍，推理时间相应增加。

归根结底，SpheRoPE做到了一件在此之前没有人做过的事：完全不修改AI模型的参数，只通过改变AI"感知空间位置的方式"和"被引导的方向"，就让一个普通的平面图像生成AI无缝转变为能够生成360°全景图的系统，而且效果可以与那些专门花费大量资源训练过的系统相媲美，甚至在某些关键维度上超越它们。

这就好像一位教练不去改变运动员的身体条件，只是给他换了一副能看到周围180°范围的宽视野眼镜，并告诉他"你在打球的时候要记得考虑身后也有对手"——运动员立刻就能利用自己已有的技能，以全新的方式应对全方位的比赛。

对于普通用户来说，这意味着在未来，当你希望为VR内容、虚拟场景或沉浸式体验生成360°背景时，你可能不需要等待专门训练的全景生成模型更新，只需要使用最新的图像视频生成模型，配合这套推理时的小改动，就能直接产出高质量的全景内容。而对于研究者来说，SpheRoPE打开了一个新的思路：位置编码本身就是几何知识的载体，精心设计的位置编码改造，或许能够以极低的代价将各种空间几何约束注入到现有的生成模型中。

Q&A

Q1：SpheRoPE方法需要重新训练AI模型吗？

A：不需要。SpheRoPE是完全零训练、零优化的方法，它只修改AI模型在推理时感知空间位置的方式，以及引导生成方向的逻辑，不改变模型的任何参数，因此可以直接插入到任何使用旋转位置编码（RoPE）的现有生成模型中使用。

Q2：360°全景图中左右边缘不衔接的问题，SpheRoPE是怎么解决的？

A：SpheRoPE采用了两套协同策略：对高频位置信号进行谐波量化，确保信号在图像宽度范围内完成整数个振荡周期，从而在左右边缘自然对齐；对低频位置信号则彻底替换为球面三维坐标，由于经度在-180°到+180°之间构成闭合圆形，坐标自然首尾相接。另外，VAE解码器也采用循环填充来消除解码阶段引入的边缘断裂。

Q3：SpheRoPE生成360°全景视频时为什么只能是静态场景？

A：因为SpheRoPE是通过修改位置编码来强制模型遵守球形拓扑规则的，一旦场景中存在复杂的物体运动或镜头移动，模型在帧与帧之间维持球形约束的难度会大幅上升，容易破坏全景图的几何一致性。目前研究团队通过提示词限制场景静止、相机固定来规避这一问题，生成包含复杂运动的360°视频仍是未来研究的挑战。