大多数强化学习基准测试在每轮结束后都会重置环境，仿佛世界可以一键重启。但真实的运营环境从来不会给你这样的机会。Skyfall AI的MORPHEUS平台正是瞄准了这一差异——它是一套专为持续强化学习（CRL）设计的永久化企业仿真平台。
MORPHEUS是什么？
MORPHEUS的理论基础是“大世界假说”（Big World Hypothesis, Ja ved & Sutton, 2024）。这个假说认为，现实世界的复杂程度远超任何智能体的表征能力，因此，即便在固定动力学条件下，环境看起来也是非平稳的。
为了真正考验持续学习能力，MORPHEUS要求环境具备三个核心属性：永久性（persistence）、非平稳性（non-stationarity）和操作复杂性（operational complexity）。所谓永久性，意味着过去的决策会持续影响未来的状态；非平稳性则指任何固定策略最终都会变得低效；而操作复杂性表明，不存在一个始终最优的固定策略。
在这个平台上，每个环境都是一个独立的TypeScript世界插件。插件会导出操作描述符（Operational Descriptors, ODs），同时包含仿真调度器、种子数据和文档。操作描述符定义了某项能力在执行时的逐步操作计划。智能体通过能力API与环境交互，每一次调用都会触发一个OD的执行。
平台的工作原理
基于上述架构，非平稳性由两个引擎共同驱动。首先是故障注入引擎，它会在OD执行的步骤之间插入预设类型的干扰，涵盖11种故障类型，包括缺失数据（missing_data）、依赖故障（dependency_failure）和速率限制（rate_limit）。故障注入有四个预设频率级别：轻度（5%）、现实（8%）、中度（15%）和激进（30%）。
第二个引擎是异步配置变化控制器，它会在固定的时间戳上改变故障预设和需求水平。这个控制器独立于训练循环运行，因此变化永远不会与梯度更新同步。这样就能防止智能体利用更新的周期性作为“袋里时钟”来预测变化。
除了这两个引擎，奖励信号来自平台原生记录的三类操作验证器：故障事件信号、财务账本状态和资源吞吐量。最终的综合奖励是这三者的加权组合，默认权重为 w_f = 0.5（故障信号），w_l = w_p = 0.25（财务和吞吐量）。
# Composite reward — MORPHEUS, Appendix C (default weights).
def clip(x, lo, hi):
return max(lo, min(hi, x))
def composite_reward(tickets, actual_cost, planned_cost, units, capacity, w_f=0.5, w_l=0.25, w_p=0.25):
r_f = -sum(t["severity"] for t in tickets) # failure event signal
r_l = clip(1 - actual_cost / planned_cost, -1, 1) # financial ledger
r_p = clip(units / capacity, 0, 1) # resource throughput
return w_f * r_f + w_l * r_l + w_p * r_p
在理论最优假设下（零故障、最小成本、满吞吐量），每个配置下的奖励上限为0.50。
策略初始化
由于动作空间庞大，完全从零开始进行强化学习并不现实。因此，MORPHEUS采用两阶段流水线：首先，用前沿模型（Gemini 3.1 pro）结合ReAct框架收集轨迹数据，然后利用这些轨迹通过监督微调（SFT）对Qwen3-14B模型进行微调。
这样一来，所有的强化学习实验都从同一个SFT检查点开始，从而将“持续学习行为”与“基本操作能力”分离开来。所有基线模型在后续在线训练中，都采用PPO作为基础优化器。
六大维度评估协议
有了训练方法还不够。仅看累积奖励远远不够——一个标量总和无法揭示在非平稳时间线上各个维度的表现。因此，研究团队提出了六项评估指标：每配置奖励、适应速度、遗忘程度、恢复时间、稳定性和性能差距。
其中，适应速度是核心指标，它衡量的是运行平均奖励达到理论最优值一半所需的步数。作为补充，还有两个诊断指标：相对适应优势（RAA）和通过有效秩衡量的可塑性。
基线模型表现
在该评估框架下，研究团队从共享的SFT检查点出发，测试了四种算法家族的对比表现。实验定义了两个任务：任务1是在结构化漂移下进行动态资源分配；任务2是在延迟效应下进行调度。
| 算法家族 | 核心机制 | 任务1（出站） | 任务2（出站） | 任务2（入站） |
|---|---|---|---|---|
| PPO | 无持续学习机制 | 失效基线 | 仅早期适应 | 基线奖励 |
| HER | 事后重放 | 中等奖励 | 最优奖励 | 最优奖励，最高秩 |
| EWC | 权重巩固 | 最优奖励 | 最优适应 | 最差奖励 |
| LCM | 潜在情境模型 | 适应最快 | 无优势 | 最优适应 |
结果很明显：没有哪个算法能通吃所有局面。在出站任务1中，EWC在奖励上领先，LCM则适应最快。在任务2中，HER的奖励最优，但LCM在延迟奖励下失去了优势。值得注意的是，所有方法的平均性能差距都接近1.0，这说明模型在稳态下的表现相比理论最优值存在巨大缺口，远不是微调就能弥补的。
PPO和HER通常只能在第一个配置下完成适应，之后即便没有标签信号，也难以再适应新的变化。
应用场景与示例
在实际应用中，MORPHEUS对不同角色都很有价值。对于AI工程师来说，它用来测试智能体能否在无标签信号的情况下检测到环境模式的切换。比如，当需求从平稳变为突发爆发时，智能体必须自行调整策略。
对于数据科学家而言，它重点考察的是延迟信用分配能力。举个例子，发货后的“准时足量交付”（OTIF）指标，可能要几天后才能观测到结果。对于软件工程师，TypeScript插件格式允许轻松更换奖励函数或调整可观测性，而无需改变底层环境动态。
优势与不足
优势：
- 环境不会重置，持续运行，更贴近真实企业系统。
- 支持参数化、可重复的模式切换，便于不同算法间的公平比较。
- 奖励信号来自原生操作验证器，无需额外的人工标注。
- 评估代码已开源（
Skyfall-Research/morpheus-evals）。
不足：
- 平台内置的五个环境中，目前只评估了其中两个。
- 理论最优值假设零故障，因此结果偏乐观。
- 模式切换由外部触发，而非由智能体的决策累积自发驱动。
- 奖励权重是科研变量，尚未经过行业验证。
关键结论
- MORPHEUS运行的是永不重置的持久化企业世界，与传统的回合制RL基准完全不同。
- 平台内置五个环境，本文评估了其中两个：
process-outbound和process-inbound。 - 六大评估指标分别覆盖每配置奖励、适应速度、遗忘程度、恢复时间、稳定性和与理论最优的差距。
- 四种基线算法（PPO、HER、EWC、LCM）的表现均远低于理论最优值。
- 没有单一算法全面胜出，奖励和适应速度两个维度各自有不同的赢家。
详细内容可查阅论文原文和项目主页。
