IT之家12月19日消息，上海交通大学集成电路学院（信息与电子工程学院）图像通信与网络工程研究所陈一骞课题组在新一代算力芯片领域取得重大突破，成功研发出全球首款支持大规模语义媒体生成模型的全光计算芯片。

该研究成果于12月19日以“All-optical synthesis chip for large-scale intelligent semantic vision generation”（大规模智能语义视觉生成全光芯片）为题，发表在国际顶级学术期刊《科学》（Science）。上海交通大学是论文的第一作者和通讯作者单位，陈一骞助理教授为第一作者及通讯作者。

上海交通大学介绍称，随着深度神经网络和大规模生成模型迅猛演进，AI正以前所未有的速度革新世界。然而，模型爆炸式增长带来的算力与能耗需求极为庞大，与硅基芯片架构的性能增长速度之间已出现迫在眉睫的瓶颈。

为突破算力与能耗瓶颈，光计算等新型架构受到广泛关注。然而传统的全光计算芯片主要用于小规模、分类任务，光电级联或复用又会严重削弱其计算速度。因此，“如何让下一代算力光芯片能运行复杂生成模型”成为全球智能计算领域公认的难题。

研究团队首次提出全光大规模语义生成芯片LightGen，这也是国际上首次实现的大规模全光生成式AI芯片，在单枚芯片上同时突破了百万级光学神经元集成、全光维度转换、无真值光芯片训练算法等公认的技术瓶颈。

▶ 大规模全光生成计算芯片 LightGen

论文实验验证了全光芯片LightGen在高分辨率（≥512×512）图像语义生成、3D生成（NeRF）、高清视频生成及语义调控、去噪、局部及全局特征迁移等多项大规模生成式任务中的能力。它不再让电辅助光生成，而是通过全光芯片完整实现输入图像、理解语义、语义操控、生成全新媒体数据的端到端过程，即让光“理解”和“认知”语义。

▶ LightGen 生成的采样图像示例

此外，LightGen采用了极严格的算力评价标准，在实现与电芯片上运行的Stable Diffusion、NeRF、Style Injection Diffusion等前沿电子神经网络相似生成质量的同时，直接测量了整个系统端到端的耗时与耗能降低幅度。

实测表明，即便采用较滞后性能的输入设备，LightGen仍可取得相比顶尖数字芯片2个和2个数量级的算力和能效提升。而如果采用前沿设备使得信号输入频率不再是瓶颈的情况下，LightGen理论可实现算力提升7个数量级、能效提升8个数量级的性能跃升。

这不仅直接体现了在不损失性能情况下替换顶尖现有芯片能获得的巨大算力和能效提升，也印证了解决大规模集成、全光维度变换、无真值光场训练等关键难点，在全光片上实现大规模生成式网络的重要意义。

IT之家附论文链接：