12月20日,科技媒体9to5Mac发布消息称,苹果正与普渡大学展开合作,旨在攻克极低光照环境下的影像拍摄难题,双方已联合开发出一款名为DarkDiff的全新AI技术。
该博客文章指出,在光线严重不足的场景中,手机拍摄的照片往往会充满噪点。为了掩盖这些瑕疵,传统算法通常会进行过度平滑处理,导致画面丢失丰富的细节,呈现出一种类似“油画”般的涂抹感。
为解决这一痛点,苹果与普渡大学的研究团队推出了一款名为“DarkDiff”的新型AI模型。这项研究并未沿袭传统的后期修图思路,而是开创性地将预训练好的生成式扩散模型“重新指派”给相机的图像信号处理(ISP)流程,从源头提升画质。

DarkDiff的核心创新在于其介入时机。不同于在成像完成后再进行AI修饰,DarkDiff在相机ISP处理原始传感器数据(Raw Data)的早期阶段就已介入。
ISP在进行白平衡和去马赛克等基础处理后,生成线性RGB图像,DarkDiff随即接手进行降噪和细节生成。这种深度集成,让AI能够理解照片在黑暗区域应有的纹理细节,而非简单地模糊像素。

生成式AI常因出现“幻觉”问题而篡改画面内容(如无中生有地生成物体)。为防止此类情况,DarkDiff引入了“局部图像块注意力机制”。
该机制强制模型关注图像的局部结构,确保AI在增强细节的同时,严格忠实于原始场景。此外,研究人员还采用了“无分类器引导”技术,通过调节引导强度,在平滑度与锐利度之间找到最佳平衡,避免生成伪影。
为了验证效果,研究人员使用了索尼A7SII相机在极暗环境下拍摄测试样本,曝光时间短至0.033秒。将经DarkDiff处理后的图像与使用三脚架长时间曝光(曝光时长为测试图的300倍)拍摄的参考图进行对比,结果显示DarkDiff在色彩还原和细节清晰度上均优于现有的Raw增强模型。
尽管效果惊人,但DarkDiff距离量产仍有距离。研究人员坦言,该技术的处理速度远慢于传统算法,且庞大的算力需求若在手机本地运行将极快耗尽电池,未来可能需要依托云端处理。
此外,该模型在识别低光场景下的非英文文本时仍存在局限。该项研究目前更多展示了苹果在计算摄影领域的探索方向,短期内未必会直接装载于新款iPhone。





参考
DarkDiff: Advancing Low-Light Raw Enhancement by Retasking Diffusion Models for Camera ISP
