技术中心

基于深度学习技术的数字全息图降噪方法

发布时间：2020-04-26 11:58:29 阅读次数：1259

导读

数字全息技术是一种非常先进的成像系统，但是具有相干光源的数字全息系统中的散斑噪声会严重影响全息图的图像质量。传统的光学降噪技术已不能满足目前的要求。为实现全息图中的散斑降噪以及权衡降噪效率问题，上海大学机电工程与自动化学院周文静副研究员科研团队和日本早稻田大学Hu Jinglu教授合作研究，提出了一种基于卷积神经网络的全息图快速降噪算法，并且重构了相应的数字全息散斑噪声数据集用于训练神经网络，设计的网络目的能在快速、高效、不丢失有效信息的前提下，实现数字全息散斑噪声的降噪任务。理论分析和实验结果表明，卷积神经网络对数字全息图进行频谱域去噪可以有效提高全息图的质量，并且可以使用单个全息图有效处理多等级的散斑噪声。在不牺牲去噪性能的前提下，可以实现最大程度地保存全息图的有效干涉条纹。相关成果以“频谱卷积神经网络实现全息图散斑降噪”发表在期刊 光学学报 上。

团队简介

周文静副研究员，来自上海大学机电工程与自动化学院精密机械工程系，是上海大学于瀛洁研究员带领的应用光学与检测研究团队成员，也是“微纳光学成像与精密检测”实验室负责人，该团队主要研究方向包括：数字全息技术，数字全息层析技术、数字声光全息技术、计算成像技术及深度学习技术等，主要开展相关技术的基础研究，并应用于生物细胞形态等各类微观参量检测、珍贵文物的微观裂纹检测和预测、功能梯度材料重要参数检测及表征等。

Hu Jinglu教授，日本早稻田大学“古月研究室”负责人，主要研究方向包括：机器学习，准线性支持向量机、准线性ARX神经网络、深度神经网络等。

研究背景

数字全息图获取过程中常用的光源是激光，由于激光的高相干性，照射到粗糙物体的表面会发生散射形成散斑，这种在全息图中的现象被称为相干散斑噪声。数字全息中存在散斑噪声的主要原因在于相干成像和CCD成像尺寸有限，因此相干散斑噪声的存在不可避免。由于散斑噪声的存在，破坏了全息图的干涉条纹，严重影响了重建质量，影响数字全息再现图的分辨率。如何减小数字全息图中散斑噪声的影响，以及如何获得高质量的再现图像是数字全息技术的主要问题之一。而传统的全息图去噪方法只对重建后的图像去噪，无法从抑制散斑噪声源头 — 全息图这一步骤去除散斑噪声。

研究内容

激光经过被测物体形成一系列散射子波，较强的子波相干性容易产生光波相干叠加，形成散斑噪声。

\[ \mathrm{g}\left ( n,m\right )=f\left ( n,m\right )u\left ( n,m\right )+\nu \left ( n,m\right) \]

式中，\( \left ( n,m\right ) \) 为图像中的坐标位置，\( n \) 为横坐标，m为纵坐标；\( f\left ( n,m\right ) \) 为原始无污染图像在坐标\( \left ( n,m\right ) \) 处的数值，是理想状态下希望恢复的图像；\( u\left ( n,m\right ) \) 表示与原始图像分布相互独立的乘性噪声分量；\( \nu \left ( n,m\right) \) 表示与原始图像分布相互独立的加性噪声分量；\( \mathrm{g}\left ( n,m\right ) \) 表示原始图像受到散斑噪声污染后的图像。

由于散斑噪声由乘性分量与加性分量组成，光学全息降噪方法和传统图像降噪方法均很难有效地对其进行抑制。此外，散斑噪声随着被测物体表面的变化而变化，要估计全息图的散斑噪声分量存在一定困难，使得全息图恢复变得更加复杂。因此可建立一个频谱卷积神经网络模型，通过训练卷积内核来捕获单张全息图中的噪声成分，这样在解决散斑噪声问题的同时，也能保留全息图的细节信息。

针对上述问题，研究团队设计了频谱卷积神经网络(SCNN)，其结构示意图如图1所示。频谱卷积神经网络结构由三部分组成：（1）第一部分是一个减采样操作与二维快速傅里叶变换层；（2）第二部分由一系列的3 × 3卷积层组成，其中包含卷积层(Conv)、线性整流函数(ReLu)和批标准化(BN)。卷积层的第一层由卷积层(Conv)和线性整流函数(ReLU)组成，中间层由卷积层(Conv)、线性整流函数(ReLU)和批标准化(BN)组成，最后一层由卷积层(Conv)构建。为保证图像大小不变，每次卷积后都使用零填充操作。（3）第三部分对应着第一部分的可逆操作，分别为双三次插值操作与逆二维快速傅里叶变换使数字全息图回到正确尺寸。

图1.频域卷积神经网络(SCNN)结构示意图。

充足的数据集对神经网络的训练至关重要，能有效提高实验效率与网络特征提取准确度。基于上述需求模拟了一个由三峰结构组成的原始相位，由此获得数字原始全息图及其噪声全息图，构成所需的数据集。模拟过程中，记录距离为60 mm，像素尺寸为4.65 µm，全息图尺寸为400 × 400像素，参考光波为平面波，主峰及侧峰的最大相位值均不大于π，主峰与侧峰相位值随机改变，且随机改变两侧峰在图像上的空间位置，最终形成包含2000张实验所需全息图的原始数据集。

通过数据集的准备，将神经网络训练的噪声等级设置为[0,75]，批处理参数设置为128，初始学习率设置为0.0001，学习率每批次训练后的递减率为0.8，训练循环次数为20次。将所提出的频谱卷积神经网络与几种常用降噪算法(即BM3D、DNCNN、FFDNET)结果进行对比，实验结果如图2所示，从图中细节部分实线框可以看出，与其他方法相比，训练后的频谱卷积神经网络(SCNN)能够捕捉全息图无效噪声分量，并保留目标图像的有效细节。BM3D算法作用的全息图平滑过多，造成有效干涉条纹信息的损失。FFDNET网络作用的全息图部分有效信息的损失也较为严重。

图2.模拟噪声全息图在不同算法下的降噪结。

对图2中的四幅全息图依次进行数值重建，获得的相位分布如图3所示。与图3(a)所示的原始噪声全息图重建相位相比，图3(d)所示基于SCNN降噪的重建相位效果噪声最低，重建效果最好。

图3.不同算法降噪前后的模拟数字全息图重建相位结。

为验证神经训练网络的有效性，将实验中采集到的数字全息图输入网络。输入的全息图由马赫泽德全息干涉实验系统获得。样本为USAF1951分辨率板，使用上述系统采集数字全息图。通过不同的降噪算法，得到如图4所示的实验结果。从图中可以看出，传统的BM3D算法可以有效去除噪声，但从结果中的细节部分（实线框中）看，图像平滑过于严重，这对全息图中的有效条纹十分不利。FFDNET算法降噪结果中，降噪后的细节部分丢失较为严重，有效的干涉条纹出现部分缺失的现象。SCNN算法降噪结果中，全息图的干涉条纹细节保存较好，且能有效地去除散斑噪声。

图4.实验采集数字全息图在不同算法下的降噪结果。

同样对图4中四幅不同的全息图依次进行数值重建，获得重建相位，如图5(a)~(d)所示。为更有效地对比不同算法的降噪结果，分别提取图5(a)~(d)中的虚线处截线，结果如图5(e)~(h)所示，可见依然是SCNN算法去噪后的全息图能获得更好的重建效果。

图5.不同算法降噪前后的数字全息图重建相位及其截面。

研究总结

本研究团队提出了基于频谱卷积神经网络的数字全息图散斑降噪方法，其能适用于实际光学系统采集的数字全息图降噪需求。使用噪声水平图作为网络输入，由散斑噪声全息图与无噪声全息图组成全息数据集，利用生成的全息数据集对网络进行训练。数据集中模拟的全息图与采集的实验全息图测试结果表明，频谱卷积神经网络能够很好地兼顾降噪性能与图像有效干涉条纹细节的保持，相比其他传统光学降噪方法和图像处理方法，具有良好的降噪及有效保存条纹细节信息的能力。该研究填补了将深度学习应用于与数字全息图去噪领域的空白，使用深度学习技术提高全息图降噪效果对于全息领域与深度学习领域都有着巨大意义。

论文链接：

http://www.opticsjournal.net/Articles/abstract?aid=OJb616fec5ecd167e5

{{item.product_sn}}

{{item.category_name}}