Attention-Guided CNN for Image Denoising

发表期刊 ： Neural Networks 124 (2020) 117–129 https://doi.org/10.1016/j.neunet.2019.12.024

Paper and Code Sci-Hub 实时更新 : https://tool.yovisun.com/scihub/

Abstract： 提出一种注意力导向的去噪卷积神经网络（ADNet），主要包括稀疏块（SB），特征增强块（FEB），注意力块（AB）和重构块（RB）图像降噪。

SB通过使用膨胀和普通卷积来去除噪声，从而在性能和效率之间进行权衡。

FEB通过很长的路径集成了全局和局部特征信息，以增强去噪模型的表达能力。

AB用于精细提取隐藏在复杂背景中的噪声信息，对于复杂的噪点图像（真实噪点图像）和绑定去噪非常有效。此外，FEB与AB集成在一起，可提高效率并降低训练降噪模型的复杂度。

RB旨在通过获得的噪声映射和给定的噪声图像来构造清晰图像。

ADNet在三个任务（即合成和真实的噪点图像以及盲降噪）中均表现出色。

Contributions：（1）提出了由扩张卷积和普通卷积组成的SB，用于减小深度以提高去噪性能和效率。
（2）FEB使用长路径融合来自浅层和深层的信息，增强去噪模型的表达能力。
（3）AB用于从给定的噪点图像中深度挖掘隐藏在复杂背景中的噪声信息，例如真实的噪点图像和盲降噪。
（4）FEB与AB集成在一起，可以提高效率并降低训练降噪模型的复杂度。
（5）在六个基准数据集上，ADNet在合成和真实噪点图像以及盲降噪方面均优于最新技术（2020）。

As shown in Fig. 1，17层ADNet由四个块组成，分别是SB，FEB，AB和RB。 12层稀疏块SB用于增强图像去噪的性能和效率。

loss function：

SB：
12层SB包括两种类型:dilated Conv+BN+ReLU和Conv+BN+ReLU。dilated Conv+BN+ReLU表示扩张率为2的卷积，BN 和激活函数ReLU 是相连的。另一种是 Conv，BN和ReLU 相连。dilated Conv+BN+ReLU位于SB的第二、第五、第九和第十二层（图1中紫色），这些层可以视为高能点。Conv+BN+ReLU在第一、第三、第四、第六、第七、第八、第十和第十一层（图1中绿色），为低能点。1–12层的卷积滤波器大小为3 × 3。第一层的输入是c：输入噪声图像的通道数。2–12层的输入和输出为64。几个高能量点和几个低能量点的组合可以认为是稀疏性。稀疏块的实现转换为公式 6，D代表扩张卷积的函数。R和B分别代表ReLU和BN。CBR是Conv+BN+ReLU的函数。根据前面的描述，用下面的等式来表示SB。
O S B = R ( B ( D ( C B R ( C B R ( R ( B ( D ( C B R ( C B R ( C B R ( R ( B ( D ( C B R ( C B R ( R ( B ( D ( C B R ( I N ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) （ 6 ） O^{SB}= R(B(D(CBR(CBR(R(B(D(CBR(CBR(CBR(R(B(D(CBR(CBR(R(B(D (CBR(I^N)))))))))))))))))))) （6） OSB=R(B(D(CBR(CBR(R(B(D(CBR(CBR(CBR(R(B(D(CBR(CBR(R(B(D(CBR(IN))))))))))))))))))))（6）
FEB：（深层网络可能会受到浅层的弱化影响）
FEB通过一条长路径充分利用全局和局部特征来挖掘更鲁棒的特征，这与SB在处理给定噪声图像方面是互补的。4层FEB由三种类型组成:Conv+BN+ReLU、Conv和Tanh，其中Tanh是activate function。Conv+BN+ReLU在13–15层，filter size=64×3×3×64。Conv用于第16层，ilter size=64×3×3×c。第17层使用concatenation operation来融合输入的噪声图像和第16层的输出，以增强去噪模型的表示能力。因此，最终输出尺寸为64×3×3× 2c。此外，Tanh用于将获得的特征转换成非线性。该过程如公式7 描述解释。 O F E B = T ( C a t ( C ( C B R ( C B R ( C B R ( O S B ) ) ) ) , I N ) ) （ 7 ） O^{FEB}= T(Cat(C(CBR(CBR(CBR(O^{SB})))), I^N)) （7） OFEB=T(Cat(C(CBR(CBR(CBR(OSB)))),IN))（7）其中C、Cat和T分别是卷积、级联和Tanh的函数。在图1中，Cat用于表示连接的功能。此外，OFEB也用于AB。

AB：（复杂的背景很容易隐藏图像和视频应用的特征）
AB利用当前阶段指导前一阶段学习噪声信息，对于未知噪声图像，即盲去噪和真实噪声图像非常有用。1层AB仅包括一个Conv，其大小为2c × 1 × 1 × c，其中c是给定损坏图像的通道数。AB利用以下两个步骤来实现注意机制。第一步使用来自第十七层的大小为1 × 1的卷积将获得的特征压缩成向量作为调整前一阶段的权重，这也可以提高去噪效率。第二步利用获得的权重乘以第十六层的输出，以提取更显著的噪声特征。其过程可以转换为以下公式。

Training datasets：
训练数据集使用伯克利分割数据集(BSD)的400幅大小为180 × 180的图像和滑铁卢勘探数据库的3,859幅图像来训练高斯合成去噪模型。图像的不同区域包含不同的详细信息，因此将训练噪声图像分成大小为50 × 50的1,348,480个小块，有助于促进更鲁棒的特征并提高训练去噪模型的效率；缺点是噪音在现实世界中是变化的和复杂的。基于这个原因，使用来自基准数据集(徐，李，梁，张，&张，2018)的100幅尺寸为512 × 512的真实噪声图像来训练真实噪声去噪模型。为了加快训练速度，100幅真实噪声图像也被分成211,600个大小为50 × 50的小块。此外，上面的每个训练图像从八种方式中随机旋转一种方式:原始图像，90，180，270，原始图像自身水平翻转，90，自身水平翻转，180，自身水平翻转，270，自身水平翻转。

测试数据集：
通过6个数据集，即BSD68，Set12，CBSD68 ，Kodak24，McMaster和cc ，分别由68，12，68，24，18和15幅图像组成，来评估ADNet的去噪性能。BSD68和Set12是灰色图像。其他数据集是彩色图像。BSD68和CBSD68的场景是一样的。真实噪声的cc数据集是从三个不同的相机采集的，每个真实噪声图像的大小是512 × 512。