PMDformer长时序预测新方法用减法优化注意力机制解决尺度偏差
在能源管理、金融市场分析和交通流量预测这些领域，长期时间序列预测（LTSF）一直是个核心且棘手的任务。现有的方法，尤其是基于Patch的Transformer模型，虽然试图通过捕捉局部语义来理解长序列，却普遍面临一个根本性的瓶颈：非平稳数据中，不同时间片段（Patch）的数值尺度差异，会严重干扰模型对真实模式的判断。
简单来说，当模型试图通过“注意力”机制寻找相似模式时，它很容易被数值大小所迷惑，误将形状迥异但尺度相近的片段关联起来，而忽略了那些真正形状相似、只是处于不同数值水平的片段。这就像戴着有色眼镜看数据，看到的并非全貌。
针对这一痛点，来自西南财经大学、上海科学智能研究院、复旦大学和成都恒图科技的联合研究团队，提出了一种名为PMDformer的创新框架。其核心思路相当巧妙：将每个数据片段（Patch）的“均值”（代表长期趋势）和“残差”（代表局部形状）进行解耦，让模型能更纯粹地关注形状相似性。实验证明，这一方法在多项权威基准测试中，性能全面超越了现有最优模型。
目前，这项研究成果已被顶级学术会议ICLR 2026接收。
现有方法的痛点：尺度差异如何「扭曲」形状建模？
为了处理长序列，将数据切割成小块（Patch）进行分析是常见策略。但问题在于，现实世界的时间序列数据往往是非平稳的——今天的用电量和一年前的用电量，数值水平可能天差地别。这种尺度差异带来了两个关键挑战：
首先，是尺度偏差对形状相似性的遮蔽。注意力机制的计算会受到Patch均值的影响，导致形状高度相似但尺度不同的两个Patch被判定为不相关；相反，形状迥异但恰好处在相似数值区间的Patch，反而可能获得高注意力权重。模型捕捉到的可能只是由数值尺度制造的“幻觉”，而非真正的时序模式。
其次，是跨变量依赖建模的失准。在多变量预测中，不同变量（比如温度与湿度）之间的相关性并非一成不变。早期历史上的弱相关甚至虚假相关关系，如果被不加区分地用于预测近期走势，就会引入大量噪声，导致模型过拟合到无用的信息上。
图1：PMD解耦前后的注意力权重对比。上图显示，在原始序列中，由于尺度差异，注意力错误地偏向了P3；下图显示，经过均值解耦后，注意力权重正确反映了P1与P2之间的形状相似性。
PMDformer：三位一体的解决方案
PMDformer的巧妙之处在于，它通过三个协同工作的核心模块，系统性地解决了上述问题，形成了一个完整的技术闭环。
图2：PMDformer整体架构图
一、Patch均值解耦（PMD）：还原形状本质
这是整个框架的基石。其操作非常简洁：对每个Patch，简单地减去其时间维度上的均值。这样一来，原始Patch就被分解为两部分：代表长期趋势的“均值”，和代表局部波动“形状”的残差。与普通的归一化方法不同，PMD只做减法，完整保留了Patch内部的振幅变化和细节结构，让模型能专注于形状本身的相似性比较。
二、近邻变量注意力（PVA）：聚焦最相关的跨变量依赖
这个模块基于一个非常直观的洞察：当我们要预测未来时，最近期的历史信息通常最具参考价值。因此，PVA模块在计算不同变量之间的注意力时，不再“翻旧账”式地扫描整个历史窗口，而是将计算严格限制在最近的一个Patch上。
这样做的好处是双重的：一方面，它能精准捕捉对预测最有价值的近期跨变量交互模式，避免被早期不相关的噪声干扰；另一方面，它将计算复杂度从O(C²N)大幅降低到了O(C²)，其中C是变量数，N是Patch长度，在处理高维数据时效率提升尤为显著。
三、趋势恢复注意力（TRA）：兼顾形状与趋势
PMD模块虽然强化了形状建模，但客观上削弱了长期趋势信息。TRA模块就是为了弥补这一点而设计的。它采用了一种“分离式”的注意力设计：在计算注意力权重（Query/Key）时，只使用代表形状的残差嵌入，确保分数纯粹反映形状相似性；而在生成最终输出（Value）时，则通过加法将之前分离出的Patch均值（趋势信息）重新注入。这样，模型就能同时把握局部的形状模式和全局的趋势动向，做出更稳健的预测。
实验结果：在8个权威基准上全面领先
研究团队在电力、天气、能源、交通等领域的8个广泛使用的真实数据集上进行了系统评估。与8种最新的基线方法对比，PMDformer在7个数据集上的均方误差（MSE）和平均绝对误差（MAE）都达到了最低，展现了其稳定且全面的性能优势。
表1：长时间序列预测任务结果对比。展示了在8个数据集、4种不同预测长度下，各模型的MSE与MAE指标完整数据。
计算效率：以更少资源实现更高性能
除了精度高，PMDformer在计算效率上也表现突出。在变量数量从100激增到3000，以及序列长度从144扩展到5400的两组压力测试中，PMDformer相比PatchTST、iTransformer等主流模型，所需的GPU显存更少。这主要归功于PVA模块对计算复杂度的成功压缩，使得模型在处理高维多变量时序数据时更具 scalability（可扩展性）。
图3：计算效率对比。左图展示了不同变量数量下，右图展示了不同序列长度下，各模型的GPU显存占用情况。
总结与展望
PMDformer的成功揭示了一个在时序预测中长期被忽视的关键问题：数据片段中趋势与形状的耦合，会系统性损害模型对核心模式的识别能力。通过一个看似简单的均值解耦操作，配合精心设计的注意力机制，该框架在不增加模型复杂度的前提下，同步提升了预测的精度与效率。
展望未来，研究团队计划将这一框架扩展至更高维度的多变量时序建模场景，并探索其与文本、图像等多模态数据的融合应用，持续为金融、能源、交通等关键领域的智能决策提供新的技术动力。
相关攻略
在能源管理、金融市场分析和交通流量预测这些领域，长期时间序列预测（LTSF）一直是个核心且棘手的任务。现有的方法，尤其是基于Patch的Transformer模型，虽然试图通过捕捉局部语义来理解长序列，却普遍面临一个根本性的瓶颈：非平稳数据中，不同时间片段（Patch）的数值尺度差异，会严重干扰模型
随着“氛围编程”（Vibe Coding）理念的兴起，软件开发的核心范式正经历深刻变革，从传统的“程序员编写代码”转向“人类指挥AI智能体协同编码”。以Claude Code、OpenClaw为代表的先进系统，已经能够驱动智能体自主完成从编码、调试到完整任务执行的全流程。然而，当面对系统级工程开发或
视觉语言大模型（VLM）在描述图像内容时往往头头是道，可一旦面对三维空间推理，短板就暴露无遗。物体一多，视角一换，模型的认知底线很容易被击穿。 更棘手的是，想精准评估这种能力也困难重重。真实世界的数据集采集成本高昂，且难以灵活调整参数；而程序生成的3D场景又常常显得虚假、违背物理规律。业界一直缺少一
视觉定位（Visual Grounding）这项任务，目标是让机器根据一句自然语言描述，在图像中精准地框出对应的物体。听起来很直接，对吧？但全监督的方法有个绕不开的痛点：它需要海量精确到像素级的“图像-文本-物体框”三元组标注。面对大规模、场景复杂的真实数据，这种标注成本高得令人望而却步。 于是，弱
IT之家 3 月 1 日消息，彭博社记者马克 · 古尔曼今天在最新一期《Power On》通讯中表示，苹果计划在 WWDC 26 开发者大会上发布全新 Core AI 框架，取代现有的 Core M
热门专题
热门推荐
人工智能的浪潮正席卷每个角落，智能办公工具无疑是其中备受瞩目的弄潮儿。以自然语言处理和机器学习为内核的AI文档助手，承诺用高效与精准重塑我们的文字工作。但一个值得玩味的问题随之浮现：它究竟是一场碘伏传统的革命性创新，还是更像一位得力的职业伙伴？ AI文档助手的革命性创新 不得不说，AI文档助手的出现
2026年5月13日至14日，备受瞩目的Create 2026百度AI开发者大会将在北京隆重举行。本届大会以“万物一体”为核心主题，并实现了一项重要升级：首次将“Create百度AI开发者大会”与“云智大会”全面合并。此次整合旨在为参会者提供一站式、全景式的洞察体验，无论是关注AI基础设施的企业决策
雷蛇与《鸣潮》联名的达妮娅主题外设系列将于2026年5月20日推出，涵盖无线鼠标、机械键盘、电竞椅和超大鼠标垫四款产品。系列兼顾轻量化设计、高性能硬件与角色主题元素，致力于为玩家打造兼具操作性能与沉浸氛围的全方位游戏体验。
《极限竞速：地平线6》登陆Xbox与PC平台，首次将舞台设定于日本。本作画质显著提升，以丰富细节呈现东京霓虹、樱花林与山间晨雾。玩法上重构开局身份，玩家需从普通访客逐步成长为传奇车手，并引入庄园系统与探索乐趣。游戏对硬件性能要求较高，但借助DLSS4等技术可实现画质与流畅度的平衡。
人工智能正改变传统表格制作方式，通过自然语言指令自动生成表格与图表，显著提升工作效率。人机协作虽带来便利，确保数据准确性仍是关键。未来更智能的预测功能值得期待，但使用者仍需掌握数据分析基本功，以充分释放数据价值。