论文：MuCAN：多对应聚合的视频超分
文章检索出处： 2020 ECCV

摘要和简介

本文提出了：
1. 一种时间多对应聚合(TM-CAM)策略，去利用跨帧的相似补丁
2. 一种跨尺度的非局部对应的聚合(CN-CAM)方案，去探索帧内不同尺度的自相似性
3. 引入了边缘感知损失，使所提议的网络能够生成更好的边缘
基于上述，我们建立了一个有效的多对应聚合网络(MuCAN)，实现了SOTR。

模型

overview

输入2N+1个连续帧去预测中心帧。模型由三部分构成:TM-CAM、CN-CAM和重构模块。

时间多对应聚合模块

给定两个相邻的LR帧 I t − 1 L I_{t-1}^{L} It−1L​和 I t L I_{t}^{L} ItL​，先将它们编码为较低的分辨率（从 l 0 l_0 l0​到 l 2 l_2 l2​）。然后，聚合从较低分辨率开始（ F ‾ t − 1 l = 2 \overline F_{t-1}^{l=2} Ft−1l=2​）以补偿大运动，逐渐向上移动至较高分辨率（ F ‾ t − 1 l = 0 \overline F_{t-1}^{l=0} Ft−1l=0​）用于细微的亚像素移动。
上述中的每个聚合单元使用基于补丁的匹配策略，我们汇总多个候选者以充分获取上下文信息。具体的说，首先选择top-K个最相似的特征补丁，然后使用像素自适应聚合方法把他们融合为一个像素。以对齐 F t − 1 l F_{t-1}^{l} Ft−1l​和 F t l F_{t}^{l} Ftl​为例，在 F t l F_{t}^{l} Ftl​中取一个图像补丁 f t l f_t^l ftl​（表示为特征向量），然后在 F t − 1 l F_{t-1}^{l} Ft−1l​中取最接近的neighbors，使用相关性作为距离度量，相关性定义为归一化距离内积：为了效率，局部搜索区域需满足 ∣ P t − P t − 1 ∣ ≤ d |P_t-P_{t-1}|≤d ∣Pt​−Pt−1​∣≤d，其中 P t P_t Pt​是 f t l f_t^l ftl​的位置向量，d表示最大距离。在计算了所有的相关性之后，降序选择前K个最相关补丁，并将它们串联和聚合起来：
其中 A g g r Aggr Aggr为卷积层。对于 f ‾ t − 1 l \overline f^{l}_{t-1} f​t−1l​中的每个像素，我们设计了一种自适应聚合策略而不是相等的权重去进行聚合。权重图是串联 F t − 1 l F_{t-1}^{l} Ft−1l​与 F t l F_t^l Ftl​后通过一个卷积层获得的。当补丁大小为S x S时，权重图的Size为H x W x S 2 S^2 S2：对齐的相邻帧 F ‾ t − 1 l \overline F_{t-1}^{l} Ft−1l​上的位置 P t P_t Pt​的最终值为：重复2N次上述步骤，我们得到一组对齐的相邻特征图{ F t − N l , . . . , F t − 1 l , F t + 1 l , . . . , F t + N l F^{l}_{t-N},...,F^{l}_{t-1},F^{l}_{t+1},...,F^{l}_{t+N} Ft−Nl​,...,Ft−1l​,Ft+1l​,...,Ft+Nl​}。我们以 I t L I_{t}^{L} ItL​为输入进行自聚合去产生 F ‾ t 0 \overline F_t^0 Ft0​。将这些特征图通过卷积和PixelShuffle操作融合成一个双空间大小的特征图，以保持亚像素细节。

跨尺度的非局部对应聚合模型

我们使用 M t s M_t^s Mts​代表t时刻的特征图。我们对特征图进行下采样得到一个特征金字塔：
其中 A v g P o o l AvgPool AvgPool是步长为2的平均池化。在 M t 0 M_t^0 Mt0​中给定一个以 p t p_t pt​为中心的补丁 m t 0 m_t^0 mt0​，我们在其他三个尺度上进行非局部搜索：其中， m ~ t s \tilde m^s_t m~ts​代表对于 m t 0 m_t^0 mt0​最邻近的补丁。在合并之前，利用自我注意模块来确定信息是否有用。最终， m ‾ t 0 \overline m_t^0 mt0​被计算为：其中 A t t Att Att是注意力单元，Aggr是卷积层。

边缘感知损失

VSR方法重建的高分辨率图像往往是由锯齿状边缘提取的。为了减轻这个问题，我们提出了一种边缘感知的损失，以产生更好的再生边缘。首先利用边缘检测器提取地面真实HR图像的边缘信息。然后对检测到的边缘区域进行加权，使得网络在学习过程中更加重视这些区域。
本文选用拉普拉斯变换作为边缘检测器。给定地面真实信息 I t H I^H_t ItH​，由探测器得到边缘映射 I t E I^E_t ItE​，在 p t p_t pt​ 处的二进制掩码值表示为：其中 δ \delta δ是阈值。训练时，我们采用Charbonnier损失，定义为：其中 I ^ t H \hat I^H_t I^tH​是预测的HR结果， ϵ \epsilon ϵ是常量。最终的损失定义为：其中○代表的是元素相乘。

经验

数据集

REDS共有300个视频序列。我们将数据分成新的训练（266个序列）和测试（4个序列）数据集。新的测试部件包含000，011，015和020序列。
Vimeo-90K中训练和测试分别包含64612和7824个视频序列。
在我们的实验中，峰值信噪比（PSNR）和结构相似性指数（SSIM）被用作衡量指标。

实施细节

网络以5（或7）个连续帧作为输入。在特征提取和重建模块中，分别使用5个和40个（7帧为20个）残差块，通道数量为128。在图3中，补丁大小为3，最大位移从低到高设置为{3，5，7}，K值设置为4。在跨尺度聚合模块中，我们将补丁大小设为1，并融合来自4个尺度的信息。
培训我们使用8个NVIDIA GeForce GTX 1080Ti GPU来训练我们的网络，每个GPU的小批量大小为3。训练需要对所有数据集进行6000k次迭代。我们使用Adam作为优化器，使用学习速率衰减策略且初始值为 4 e − 4 4e-4 4e−4。对输入图像进行随机裁剪、翻转和旋转增强。裁剪尺寸为64 x 64，对应输出尺寸256 x 256。旋转选择为90 ℃或 − 90 ℃ -90℃ −90℃。在计算边缘感知损耗时，我们将 δ \delta δ和 λ \lambda λ都设置为0.1。测试集评估时不使用边界剪裁。

消融实验

本实验中为了方便，我们采用轻量级设置。在这一节中。将通道大小设置为64，重构模块包含10个残差块。同时，训练迭代的数量减少到200K。
有无TM-CAM模块的残差图可视化与平均L1距离：

与SOTR模型的对比

模型对比可视化：
仅供学习使用，请勿转载。