对于动画师而言,ToonCrafter无疑是一个令人振奋的AI工具。它由香港中文大学、香港城市大学与腾讯AI实验室联合研发,本质上是一个基于生成式模型的卡通插值工具。其核心原理并不复杂:利用预训练的图像到视频扩散模型,在两张卡通图片之间自动生成流畅的中间帧动画。用户仅需提供起始和结束两张卡通图像,剩余的过渡动画将由系统自动完成。在草图插值、参考线稿上色等应用场景中,该工具带来的效率与质量提升十分显著。
ToonCrafter核心功能
- 卡通插值:核心能力是在起始图与结束图之间自动生成流畅的动画过渡,大幅减少逐帧手绘的繁重工作。
- 预训练扩散模型:底层采用图像到视频的扩散先验知识,确保插值结果在运动连贯性与画风一致性方面表现出色。
- 多种应用场景:不仅适用于普通卡通图像,还能处理草图插值和基于参考的线稿上色,具备良好的扩展性。
- 高效动画制作:简而言之,大幅节省时间。以往需要大量手工调整的中间帧现在由模型自动生成,动画师得以将精力集中于创意设计。
- 用户友好:操作极其简便——只需上传起始和结束两张图片,系统便会自动生成动画,无需复杂参数调优。
值得关注的是,ToonCrafter 是一个开源项目,其代码和使用说明均可在 GitHub 上获取。想要快速体验的用户,还可以在 Huggingface 上直接使用在线版本。以下是相关官方资源地址:
官方主页:https://doubiiu.github.io/projects/ToonCrafter/
论文地址:https://arxiv.org/abs/2405.17933v1
代码仓库:https://github.com/ToonCrafter/ToonCrafter
