近日，Unity 旗下手游发行解决方案 Supersonic 发布了两项重要更新，其中包括全新的 A/B 测试页面和经过改版的“All Games”页面。此次更新旨在赋能开发者全面了解游戏的关键指标，做出更明智的发行决策。
全新的 A/B 测试页面将在开发者决定如何推进游戏之前，提供准确度更高且具有统计显著性的洞察，从而彻底改变传统的游戏测试流程；而经过改版的“All Games”页面则能够让开发者快速查看游戏 KPI（如 CPI、游戏时间、留存率）之间的关系，更清楚地了解需要关注和优化的内容。
全新的 A/B 测试页面
此次更新引入了一种创新的 A/B 测试方法，旨在改善异常值和小规模测试组可能对测试结果造成的误差，因此在分析和显示测试结果时，考虑到了更广泛的测试情况，以提高测试准确度。
Supersonic from Unity 的 A/B 测试计算器（A/B test calculator）可以提供有针对性的结果，帮助开发者了解针对特定测试所需的受众规模，并同时考虑目标 KPI、错误率和变体数量等因素。此外，它还能评估达到统计显著性所需的天数和达到预设里程碑的用户数量。与当前市场上绝大多数的 A/B 测试工具相比，Supersonic from Unity 提供了更深入和综合化的测试信息。
开发者还可以通过全新的 A/B 测试页面看到测试结果的统计显著性。与只简单获得平均结果不同，开发者能够看到结果的完整范围。这不仅可以让他们清晰地了解到大多数结果所在的位置，还能通过排除异常值来做出更加准确的决策。
此外，A/B 测试页面不仅能够显示测试优化目标 KPI 的统计显著性，而且还会同时检查测试对其他指标的影响。开发者可以借此全面了解测试的整体效果，并利用这些数据制定如何继续推进的明智决策。
此次 Supersonic from Unity 对 A/B 测试工具的升级将对整个行业产生深远影响。在实际操作中，一个积极的测试结果会因为主要的 KPI 没有呈现统计学上的变化而被忽略。然而，产生这种情况可能是由于受众规模不够大，或者测试所产生的连锁效应对其他同样重要的 KPI 产生了积极影响。举例来说，ARPU 的非统计变化可能会带来 D7 留存率和游戏时长显著增加，这意味着需要对测试进行调整，而这个结果原本可能会被忽视。
通过呈现 A/B 测试的全部效果以及结果的统计显著性，开发者可以在决定继续推进哪项测试之前，看到所有指标的效果。这一独特优势让该 A/B 测试功能在市场上处于领先地位。
全新改版“All games”页面
在改版后的“All games”页面中，开发者可以创建自定义视图，管理自己的所有游戏。他们可以选择查看正处于特定测试阶段（如初始测试阶段、迭代或高级测试阶段）的游戏，并根据 KPI 的重要程度来定制 KPI 视图。目前共有近 30 种 KPI 供开发者选择，包括 CPI、游戏时长、留存率、APPU（每用户平均游戏时长）等指标，并可按渠道和群组进行细分。
通过将重要的数据聚合到一个视图中，开发者能够即时了解所有游戏的整体情况。基于这种高度透明的游戏表现数据，开发者和 Supersonic from Unity 团队将能够更快速地做出决策，确定哪些游戏需要关注，以及选择哪些渠道进行推广。
