GIF 在备案备注里单独列出,是因为它既不是静图也不是完整视频容器:调色板、帧延迟、处置方法都会放大伪影。
静图模型直接逐帧
能跑,但不该作为默认。逐帧 Real-ESRGAN 会在高频上每帧换一种「合理纹理」,看起来就是闪。二次元线条还会抖。
时序模块
- BasicVSR++ / RealBasicVSR:光流对齐 + 双向传播。是我们对照视频超分的主基线。
- BasicVSR++ 前接退化估计:压缩网文、录屏比相机原片更常见,要显式加噪声/压缩退化。
- 扩散视频超分:细节强,时序仍不稳,只作抽帧实验,不进默认管线。
GIF 路径:先拆帧 → 去调色板(扩到 RGB)→ 视频超分 → 再量化。跳过扩色这一步,64 色 GIF 会被模型当成纹理。
编解码与显卡
超分前后的编解码不要混用软硬。NVIDIA NVDEC/NVENC、AMD VCN、Intel Quick Sync 的 10-bit / 4:2:2 支持不一致。研究记录里要写清:解码设备、编码设备和超分设备是否同一块卡。
带宽粗算:1080p 24fps 4× 到 4K,仅像素吞吐就比单张 4K 静图高两个数量级。批大小 1、tile、光流分辨率下调,是默认而不是优化可选项。
失败样本
- 字幕边缘在超分后每帧换锯齿。
- GIF 处置
restore被当成新内容,残影被放大。 - 屏幕 UI 被当成噪声抹掉。这类输入应走专门的 UI 超分或干脆双三次。