图像降噪

————————————————

FFDNet

DnCNN 利用 Batch Normalization 和 residual learning 可以有效地去除均匀高斯噪声，且对一定噪声水平范围的噪声都有抑制作用。然而真实的噪声并不是均匀的高斯噪声，其是信号依赖的，各颜色通道相关的，而且是不均匀的，可能随空间位置变化的。在这种情况下，FFDNet 使用噪声估计图作为输入，权衡对均布噪声的抑制和细节的保持，从而应对更加复杂的真实场景。

‍

FFDNet 网络通过将噪声水平图（tunable noise level map）作为输入，使得去噪网络可以对噪声水平更加灵活。而为了提高去噪网络的效率，将输入图像降采样来处理。同时为了（insensitive to the bias between the input and ground truth noise levels and generate less artifacts），在卷积层中采用了 orthogonal regularization

噪声估计子网络将噪声观测图像转换为估计的噪声水平图，输出近似于输入的噪声图像和真实干净图像的残差

​​

已存在的模型存在如下特点：不同的噪声水平需要不同的模型，不能用来处理空间噪声，缺乏灵活性。

提出了一个快速、灵活的去噪卷积神经网络，即 FFDNet，以一个可调节的噪声水平图作为输入，可应对不同的噪声强度 ，FFDNet 特点：

1. 一个网络处理广泛的噪声水平

2. 通过指定非均匀噪声水平图来消除变异噪声

3. 比基准 BM3D 速度更快

对于基于深度学习的去噪网络，大多数都仅仅是学习网络的在某一个噪声水平下的模型，而对于不同的噪声水平，需要多个不同的去噪网络，与现有的 discriminative denoisers（判别式降噪器）相比，作者提出的网络具有以下的优点：

1、可以仅仅只用一个网络就实现处理宽范围的噪声。

2、通过指定非均匀噪声水平图来去除空间变异噪声的能力（the ability to remove spatially variant noise by specifying a non-uniform noise level map）

3、速度快

网络结构​

目标：快速、灵活、鲁棒性(降噪器在控制降噪和细节保护之间的权衡时，不应引入视觉伪影)。

采用可调噪声水平映射 M 作为输入，使去噪模型对噪声水平具有灵活性

在这项工作中，我们采用可调噪声水平图 M 作为输入，使去噪模型灵活地达到噪声水平。为了提高降噪器的效率，引入了可逆的下采样操作器，以将 WHC 大小的输入图像，重新整形为尺寸为 W/2H/24C 的四个下采样子图像。这里 C 是通道数，即灰度图像的 C=1 和彩色图像的 C=3。

为了使噪声水平图能够通过不引入视觉伪像来稳健地控制降噪和细节保持之间的权衡，我们对卷积滤波器采用正交初始化方法。

​​

IDR:Self-Supervised Image Denoising via Iterative Data Refinement 基于迭代数据精化的自监督图像去噪 CVPR2022

自监督去噪框架：迭代数据优化

CVPR 2022 图像复原论文

将已知噪声模型中的噪声添加到实际的噪声图像中创建 noisier-noisy 数据集，将创建的噪声图像作为输入，将实际的噪声图像作为学习目标，在此基础上学习

将去噪后的图像与噪声模型一起用于创建新的中间数据集，以前一轮的去噪图像为目标进行新一轮的训练

不断迭代优化，缩小 noisier-noisy 数据集和理想的 noisy-clean

​​

快速迭代算法：
每个数据集只训练一个 epoch，我们牺牲了完整模型优化所需的时间，但增加了数据优化的迭代次数。它的成本不到总训练时间的 5%。因此，总训练时间减少到与仅训练一轮去噪模型的时间几乎相同。
当在每个时期对新数据集进行训练时，我们的模型由上一时期的模型初始化，这种累积训练策略有助于去噪网络通过所提出的快速数据细化方案更快地收敛，并确保在整个训练过程中不断优化最终的去噪模型。
​

‍

VDN（Variational Denoising Network: Toward Blind Noise Modeling and Removal）变分去噪网络:通过盲噪声建模和去除

‍

提出了一种新的变分推理算法——变分去噪网络(VDN)，用于图像的盲去噪。主要思想是学习真实后验的近似后验，其中潜在变量(包括干净图像和噪声方差)取决于输入的噪声图像。利用这种变分后验表达式，可以在一个独特的贝叶斯框架中自然地实现图像的盲去噪和噪声估计。

将干净图像和噪声方差作为潜在变量，以输入噪声图像为条件，提出了由深度神经网络参数化的近似后验。该后验为其所有相关超参数提供了明确的参数形式，因此可以通过测试噪声图像的自动噪声估计轻松实现盲图像去噪。

补充知识¹

盲去噪目的

复杂的生成过程使得准确获取噪声信息和从噪声中恢复底层干净图像变得相当困难

图像去噪方法

主要侧重于从贝叶斯的角度构建一个涉及保真度(损失)和正则化项的合理最大后验(MAP)模型。在 MAP 模型中，我们旨在找到使后验概率最大化的模型参数值。通过最大化后验概率，寻求在给定数据和先验知识的情况下，对模型参数进行最优估计。

保真度（损失函数）是用来度量模型预测结果与实际观测数据之间的差异，并作为优化目标的一部分。正则化项是用于控制模型复杂度的附加项，以防止过拟合和提高模型的泛化能力

理解数据生成机制是为了设计合理的 MAP 目标，特别是在图像领域中，利用图像先验信息来指导模型的建模和优化过程。其中，稀疏性、低秩性和非局部相似性是常见的图像先验属性。

1. 稀疏性（Sparsity）：在图像中，稀疏性指的是图像信号在某个域中具有较少的非零元素。图像中的信息通常可以通过少数几个稀疏表示的基元（如小波基）来表示，而其他地方则为零或接近零。
2. 低秩性（Low Rankness）：低秩性是指图像的数据矩阵在某个表示域中具有较低的秩。在图像处理中，低秩性先验假设图像可以用较低秩的矩阵表示，表示图像中存在一些共享的结构和模式。低秩性先验可以用于降噪、恢复和压缩等图像重建任务。
3. 非局部相似性（Non-local Similarity）：非局部相似性指的是图像中不同位置的像素之间存在一定的相似性。换句话说，图像中的某个像素可以通过在其他位置找到的相似像素来进行估计或插值。非局部相似性先验假设图像中的纹理、结构和边缘等特征在空间上具有一定的连续性和相似性，从而可以利用相似区域之间的信息进行更好的建模和预测。

利用这些先验信息，我们可以在贝叶斯统计的框架下设计模型，更好地理解和解释图像的生成过程。

然而，这些方法仍然存在严重的局限性。其中一个局限性是它们对图像先验和噪声的假设通常是独立同分布（i.i.d）的。这意味着它们假设图像中的像素或图像块是独立且具有相同的分布。然而，在真实世界的图像中，这种假设并不总是成立，因为图像中的像素之间可能存在复杂的相关性和结构。

图像去噪两大类方法

1. 基于模型驱动 MAP 的方法：基于模型驱动 MAP 的方法:大多数经典的图像去噪方法都属于这一类，通过设计具有保真度/损失项的 MAP 模型和具有先验已知图像的正则化模型。
2. 基于数据驱动：不是预先设置图像先验，而是直接在大量去噪图像对的集合上从噪声到干净图像学习一个去噪器(形成一个深度神经网络)。

​​

‍

变分去噪网络是一种基于变分推断的方法，用于图像去噪任务。下面是变分去噪网络的一般步骤：

1. 网络架构设计： 设计一个适合图像去噪任务的神经网络结构。常见的网络结构包括卷积神经网络（CNN）或其变种，如自编码器（Autoencoder）或生成对抗网络（GAN）等。
2. 损失函数定义： 定义一个适当的损失函数来度量网络输出图像与真实干净图像之间的差异。常见的损失函数包括均方误差（Mean Square Error）或结构相似性指数（Structural Similarity Index）等。
3. 潜在变量建模： 引入潜在变量来表示噪声和干净图像之间的关系。这些潜在变量可以是干净图像的像素值、噪声的方差等。通过对潜在变量的建模，可以更好地捕捉噪声和图像的统计特性。
4. 变分推断： **使用变分推断方法来估计潜在的干净图像和噪声方差的后验分布。通常涉及到建立一个概率模型，其中干净图像和噪声方差是潜在变量，噪声图像是观测数据。**变分推断通常使用一组变分参数来逼近后验分布，并通过最大化变分下界来优化这些参数。
5. 网络训练： 使用已知的噪声图像和对应的干净图像进行网络训练。训练过程中，通过最小化损失函数来优化网络参数，使网络能够学习到从噪声图像到干净图像的映射关系。
6. 图像去噪和推断： 使用训练好的变分去噪网络对新的噪声图像进行去噪和推断。通过输入噪声图像，网络会推断出潜在的干净图像，并输出去噪后的图像作为结果。

变分参数近似的后验分布是一种简化的、近似计算的后验分布

‍