视频无痕擦除听起来简单，实际操作却极具挑战。它的核心任务是在画面中移除Logo、字幕甚至走动的人物，且不留任何肉眼可见的痕迹。本文将从经典Patch-Match、Mask R-CNN分割、光流传播，讲到DiT扩散模型的视频一致性生成，并解析腾讯云媒体AI智能擦除三档定价背后，不同分辨率场景下的技术与成本逻辑。
首先给出几个关键判断：视频擦除的难度，相比图像处理至少高出十倍。所有难点都集中在“时间”维度上。
一、问题定义：视频擦除到底难在哪
对于单张图片，Adobe的Content-Aware Fill已能实现“拖框自动填充”。但加入时间轴后，问题立即显现：如果逐帧单独修复，即使单帧效果完美，拼接后也会产生闪烁——被擦除区域的纹理和亮度在帧间跳变，人眼极易察觉。
一个真正好用的视频擦除算法，必须同时满足四个条件：
- 空间合理性：填补区域的纹理必须与周围环境自然过渡。
- 时间一致性：相邻帧的同一区域，物理变化要连续可信。
- 语义一致性：你不能在被擦除的椅子上，凭空长出一只猫。
- 边界柔和：Mask边缘不能有锯齿，颜色差也绝对不能出现。
注意，这四条缺一不可，这也是视频擦除比图像擦除复杂得多的根本原因。下面从三代核心算法讲起。
二、第一代：基于光流的传播算法
这一代的核心思想非常直观：给定第一帧的人工修补结果，利用稠密光流，逐帧“传播”到后续帧。2019年CVPR上的Deep Flow-Guided Video Inpainting就是这一派的经典工作。
具体流程：从Frame_t出发，通过光流计算（如FlowNet2或RAFT）得到Frame_{t+1}的对应关系，然后做像素Warp操作；同时Mask区域也需要同步传播。看上去很优雅，但问题也不少。
优点很明确：对静态背景和缓慢运动场景，效果相当好。局限也同样致命：一旦出现遮挡——比如有人走过被擦除区域——效果立刻崩溃。大面积擦除（超过画面20%）时，光流估计不够准。从原理上说，它只能搬运已有像素，无法生成“从未见过”的内容。
正因如此，这类方法通常用于固定台标、水印等场景。对应到MAIS智能擦除产品线，就是去Logo基础版——720P每分钟0.17元，1080P每分钟0.34元，性价比很高。
三、第二代：Transformer与注意力机制
2020年以后，学术界开始将时空Transformer引入视频擦除。代表性工作包括STTN、FuseFormer，以及CVPR 2022发表的E2FGVI。
E2FGVI的设计很有代表性：三个关键模块——流补全网络（补全缺失区域的光流）、双向光流特征传播模块、以及局部与全局两级注意力的Focal Transformer。在DA VIS-2017数据集上，E2FGVI相比光流方法，PSNR提升了2到3dB，感知距离LPIPS下降了30%。这意味着它能处理中等幅度的运动遮挡。
不过工程化挑战也随之而来：显存开销大——处理1080P、50帧视频需要24G以上显存；推理速度不快——在A100上处理1分钟视频大约需2到3分钟；大Mask情况下仍会出现“糊化”现象。
这类算法对应MAIS的去Logo高级版和去字幕无痕版——720P每分钟1.5元，1080P每分钟3元。动态字幕、移动Logo、弹幕区域的擦除，交给它比较放心。
四、第三代：DiT扩散模型
Stable Diffusion使静态图像生成走向工业级，但其U-Net骨干网络在视频长序列上扩展性有限。直到2023年，DiT（Diffusion Transformer）的出现才真正打开局面。它把扩散过程放在了Transformer框架上，具有几个突出优点：对Scaling Law非常友好，参数从1B加到10B仍能涨点；长序列处理是强项，自注意力机制天然适合建模时空关系；条件注入灵活，文本、草图、深度图、Mask均可作为控制条件。
腾讯混元视频生成模型及MAIS的大模型至尊版擦除能力，就是基于DiT架构构建的。
那么，Inpainting如何与扩散模型结合？思路如下：扩散模型的前向过程给干净视频加噪声，反向过程逐步去噪。Inpainting版本在每一步将已知区域（未擦除部分）重置为真实像素，只让未知区域自由生成。公式表达为：x_{t-1} = m·x_{t-1}^{real} + (1-m)·x_{t-1}^{gen}，其中m代表Mask。这种“Repaint”策略保证了已知区域的绝对保真，未知区域则由大模型生成最合理的内容。
为了降低计算量，DiT视频擦除通常先用3D VAE将视频压缩到1/8×1/8×1/4（空间×时间）的潜在空间，再做全注意力计算。1分钟1080P的视频，在潜在空间里约8000个token，A100可一次性完成前向计算。
对比第二代和第三代的边界能力：
- 固定Logo：两者都能做，第三代稍显奢侈；
- 动态大字幕：第二代边缘会糊，第三代则锐利很多；
- 走动的路人：第二代拖影严重，第三代能补全背景；
- 大面积擦除（超过30%画面）：第二代基本不行，第三代没问题；
- 复杂纹理（草地、水面）：第二代有周期性伪影，第三代效果逼真。
MAIS大模型至尊版的定价也反映了这种能力差距：4K每秒75元，2K/1080P每秒37.5元，720P每秒30元。电影级重制、广告素材复用、违规画面修复等高价值场景是其主要用武之地。
五、三档价格与技术选型矩阵
从选型角度，有一条经验法则：擦除面积小于画面5%且为静态内容，基础版完全足够；擦除面积在5%到20%之间且运动幅度中等，高级版最合适；擦除面积大于20%，或者需要语义补全时，大模型至尊版才是正解。
六、工程关键：Mask质量决定80%的效果
无论使用多强的擦除模型，如果Mask不准，一切都是徒劳。MAIS的Mask生成链路通常包含：用DBNet或PSENet做文字检测，用模板匹配加YOLO做Logo检测，用Mask R-CNN或SAM做像素级分割，再通过时序平滑将相邻帧的Mask做光流对齐与膨胀腐蚀，最后用高斯模糊在Mask边界做3到5像素的羽化，避免色差。用户也可通过API自带Mask，这对有版权标注或AI预标注流程的客户非常方便。
七、评估指标
在工业交付中，Ewarp和Human Eval这两个指标权重最大。原因很简单：PSNR高1dB，用户可能根本感知不到；但闪烁，看一眼就能发现。
八、真实生产中的5个坑
- 4K处理会炸显存：需要切块推理并做重叠融合。
- Mask抖动问题：字幕淡入淡出导致Mask时大时小，必须做时序滤波。
- 颜色偏移：DiT生成区域可能与原视频色调不一致，需要色彩匹配。
- 长视频记忆丢失：分段推理时，边界帧需要“上下文缓冲”。
- 版权合规：擦除他人Logo后并不代表可以商用，法律边界需另行确认。
MAIS在API层已对前三个问题做了工程封装，用户只需关注业务Mask和输出格式。
九、与其他MAIS能力的组合
视频擦除很少单独使用。常见组合包括：去字幕加ASR、大模型翻译和字幕压制，打造多语种版本；去Logo加智能横转竖，适合短视频二次分发；擦除结合精彩集锦，可去竞品标识后做高光剪辑。通过统一SDK，使用Java、Python、Node.js、Go、PHP或C#均可一次串联起完整流水线。
十、未来展望：从“擦除”到“编辑”
DiT扩散模型已使视频生成和编辑的界限越来越模糊。下一代能力将支持：指令式擦除——直接用自然语言说“把右下角的广告牌替换成天空”；结构保持擦除——擦除物体但保留其投影与光照交互；实时擦除——模型蒸馏到1到2步采样，支持直播流的即时擦除。
十一、开始使用
从Inpainting到DiT，视频擦除的技术代际差异确实巨大，但最好的工程从来不是炫技，而是用最合适的模型解决客户当下的问题。三档定价正是为了让钱花在刀刃上，而不是为算力买单。
