基于学习的透过厚散射介质的无透镜光学成像
Learning-based lensless imaging through optically thick scattering media

文献引文信息： Lyu, M., et al., Learning-based lensless imaging through optically thick scattering media. Advanced Photonics, 2019. 1(3): p. 1

文献来源：https://www.researching.cn/articles/OJ8ae893bbb6781eb6/html

1. 摘要

The authors had proposed a hybrid neural network to reconstruct the image information from various targets hidden behind a white polystyrene slab of 3 mm in thickness or 13.4 times the scattering mean free path. What’s more, it is possible to retrieve target image from a very small fraction of its scattered pattern, showing that the speckle pattern produced in this way is highly redundant.

2. 背景介绍

2.1 前人工作

课题组一(YizhuoZhang，短时相干傅里叶数字全息术)
(引文Zhang, Y., et al., Application of short-coherence lensless Fourier-transform digital holography in imaging through diffusive medium. Optics Communications, 2013. 286: p. 56-59.)
YizhuoZhang等人利用短相干傅里叶变换数字全息术解决了透过散射介质的成像的问题，利用短时相干的连续二极管激光器对最早到达CCD的光子进行选通，并通过多幅图像取平均的方法提取目标信号。

a图是单幅全息图，b图是从单幅全息图中重构的结果，c图是60张重构图像中一级衍射图样的叠加平均结果（已经可以看到物体的轮廓），d图是在鸡胸厚度为2.270.1mm情况下的重构结果，e图是利用透镜对0.87mm厚的鸡胸后物体进行成像的结果，f图是利用长相干光照明并取平均的结果，并没有恢复出物体图像（说明短相干在此方法中很关键）。
课题组二(Ryoichi Horisaki，非线性回归算法)
(引文Horisaki, R., R. Takagi and J. Tanida, Learning-based imaging through scattering media. Opt Express, 2016. 24(13): p. 13738-43.)
Horisaki等人利用基于机器学习的方法实现了从单幅散斑图像中恢复物体图像的目标。他们用大量的“散斑—图像对”训练了基于非线性回归算法的网络模型，以此求解散射过程的逆运算。实验表明，他们利用图像的强度信息恢复出了多层散射板之间的相位物体。
实验装置：

实验数据： LFW人脸数据集；
实验条件： 632.8nm激光器产生相干的平行光照明物体，无环境和参考光，多层散射介质，用SLM显示代替物体图像；
解决的问题： 恢复透过多层散射介质的物体相位。

a图是训练集的图，b图是a图对应拍摄到的图片；c图是测试集的图片，d图是对应的散斑；e图就是利用训练的模型恢复的结果，可以看到基本上都恢复出了正确的人脸图片，而且得到的信噪比也比较高，达到22dB；f图是通过模式匹配的方法得到的结果，匹配结果偏差很大。
值得一提的是，作者也将该模型的缺陷指出来了：

将测试物体改为其他物体，再次实验并恢复图像得到图c，结果并不能恢复出其他物体，这说明了训练出来的非线性回归模型只能对人脸数据有效，对其他数据集无法准确地恢复出结果。
课题组三(SHUAI LI，MIT，紧密连接的卷积神经网络模型)
(引文Li, S., et al., Imaging through glass diffusers using densely connected convolutional networks. Optica, 2018. 5(7): p. 803.)
Li shuai所在的课题组提出了一种新的紧密连接的卷积神经网络模型。他们利用深度学习的方法代替传统求解前向传输算子和正则项的方法（传统方法是利用先验求解）。他们新提出了名为“IDiffNet”的卷积神经网络体系结构用以解决透过散射介质的成像问题，利用已知扩散情况的散射板对模型的泛化情况进行测试，均近似地恢复出了物体的形状。他们还介绍了更适合于空间稀疏的对象和强散射条件的损失函数NPCC。

训练对象包括： Face-LFW、image-Net、MNIST;
实验结果：

I列是原图，II列是SLM上显示的结果，III列是在600-grit散度下拍摄到的图片，IV列是利用LFW集训练的模型恢复图像的结果，V列是利用image-Net集训练的模型恢复图像的结果，VI列是利用MNIST集训练的模型恢复图像的结果，VII-X列是在220-grit散度下的结果，操作和III-VI一致。
分析：观察VI可知，利用MNIST集训练的模型无法恢复出人脸和图像集的数据，这也说明了在选取训练集需要考虑训练集所具备的的特征。从IV和V的第c行和第d行可以看出，用较为复杂的训练集可以恢复出MNIST的测试集。但在220-grit散度下时，恢复效果变差，抗噪性能没有MNIST的高（这是由于MNIST本身简单而附带的抗噪性能）。

2.2 研究目的和科学问题

传统的光学成像技术是工作在球面波不被严重破坏的条件下的。而在传播路径上存在强散射介质时，原本的波前被破坏，在像面上已经无法形成物体的图像。开展这项研究的目的就是要实现透过散射介质的成像。

3. 理论方法、实验过程与结果

3.1 理论方法

本文基于深度学习的方法训练了散斑和手写体图像的映射关系，较为准确地恢复了物体的图像。本文将卷积层和深度学习层相结合，提高了训练效率，并利用降噪层减少了过拟合，以及分析了训练集的特征，恢复了具有相似特征的其他手写体（如英文字母）。

3.2 整体介绍

• 实验光路设计：

• 实验设备： 半导体激光器，准直透镜，光阑，偏振片，SLM，sCOMS，3mm厚板；
• 实验对象： MNIST数据集和手写字母
• 实验目标： 学习“散斑-物体”的映射关系
• 实验步骤：
本文使用线性偏振光泵浦半导体激光器（532nm)照明物体。一个平行的扩展的激光光束透过线性偏振片P1和光圈1之后照射到一个振幅调制的液晶SLM上，P1和光圈1分别用来控制偏振态和光束宽度。物体图像显示在SLM上以调制入射光束。实验对象是MNIST手写体[34]。将原图尺寸拓宽到SLM的尺寸再显示（数字尺寸为2mm×2mm）。然后反射光束照射到3mm厚的白板上。自由空间传输距离d1=290mm。在板的另一侧，用SCMOS放置后面d2=35mm的地方收集散斑。为了获得振幅调制，我们在反射光路径上放置了一个偏振方向与P1垂直的线性偏振片P2。并用光圈2选通一阶反射。在实验中，我们仅采集了512×512像素的散斑图像。
• 建模过程：

如图，本文使用的HNN体系有5层两维的卷积层，两层重塑层，一层池化层，三层深度连接层和五层dropout层。三层深度连接层夹在五层卷积层中间，两层在上，三层在下。为了示范，我们随意地从512×512像素中抽取64×64大小的像素块，作为网络的输入。两个上层卷积层提取32个输入散斑的特征，结果放在32×32×32的特征空间中。然后重塑为1×32768大小的向量，充当三层DNN的输入，DNN层分别有1024,784和784个神经元。之后的重塑层2将输出变为28×28的矩阵，这样方便直接利用MNIST数据集计算LOSS值。后面的三层卷积层分别有3×3,2×2,1×1大小的卷积核，用来计算三个不同的抽象层中的特征。最终网络输出28×28像素大小的图片。本文提出的HNN模型，使用ReLU作为激活函数，因为它可以比sigmoid接受更快和更有效的训练节奏。损失函数是MSE，用Adam方式更新权重。为了减少过拟合，dropout层用在整个HNN体系中。
为了训练HNN，我们使用了MNIST中的3990个手写字体作为训练集。在实验中，我们依次将它们以振幅调制显示在SLM上，并采集对应的散斑。正如之前所提到的，我们使用了sCMOS相机中心的512×512大小的像素块作为采集到的图片。更具体来说，训练集是3990对“64×64的散斑模式——3990个28×28的手写体”。用这个训练集来训练HNN模型，优化所有神经元之间的连接权重。这个程序我们用Python3.5运行在Keras架构上，并用GPU(Quadro P6000)加速。训练收敛仅用了194s，重构一幅图片用时0.78秒。

3.3 实验结果

如图，a行图片是sCMOS直接拍摄到的图片，b行图片是HNN恢复测试集的结果，c行图片是原始图像，d行图像是记忆效应恢复的结果。
训练的HNN成功地恢复了测试图像，不仅如此，对于其他类型的手写体，如英文字母，HNN也能真实地恢复出来。
在模型分析方面，作者对比了HNN，DNN和CNN的性能。在散斑特性的分析上，作者分析了不同尺寸的散斑对恢复物体的影响；分析了不同位深的散斑对恢复物体的影响；以及分析了散斑能恢复图像的可压缩比例。

3.4 与其他模型对比

基于控制变量对比法，对比了相似网络结构下的HNN、DNN和CNN的性能。

如图，b行图片是HNN的恢复结果，c行是DNN的恢复结果，d行图片是CNN的恢复结果，e行是原图。分析可知，DNN可以恢复手写字体，但无法恢复手写字母，这意味着DNN的泛化性相比HNN较差。CNN则表现得更差，只有数字6能恢复出来。

3.5 散斑的随机片段(64×64)重构物体图像

分别选取不同的区域作为训练集进行训练，得到的模型对测试集进行测试，得到结果如下：

如图，虽然选取的区域不同，但是最终能较为真实的恢复物体图像，说明物体的信息包含在整个散斑图像中，具有类似全息图像的性质。
更有意思地是，我们不取连续的片段，而是随机选取固定位置的像素组成训练图片(64×64)，仍能够恢复物体的图像。
同样的道理，作者分析了不同尺寸的散斑图像对恢复物体的影像。最后分析得出结论为，当散斑尺寸为32×32大小时，重构的物体仍能被辨识。但是当散斑尺寸降到16×16或者更小尺寸时，重构的图像基本被破坏了。

本文主要得到了什么研究成果？
(1) 训练的HNN网络拟合出了散斑和物体图像的关系；
(2) HNN相比CNN，DNN具有更准确的结果和更通用的物体；
(3) 在相干光照明的条件下，物体的信息包含在整个散斑图像中；
(4) 只利用部分散斑图像的片段仍能恢复物体图像；
这些研究结果如何支撑他们的研究目标？
在引言部分，作者引出了使用深度学习方法的三大问题，即①深度学习的训练时间较长，②深度学习容易过拟合，③深度学习的泛化性弱。首先，作者提出了HNN的网络结构，其训练时间相比全连接DNN的18h降到了194s，时间上有了极大的缩短。其次，作者利用dropout层减少了网络发生过拟合的程度或可能性。最后，通过对比三种网络的结果可知，HNN对于其它类型的数据具有更好地恢复效果，说明HNN的泛化性也在原来的基础上提高了。
这项研究在什么方面有什么创新点？
本文主要的创新点在于使用了HNN解决在相干光照明下透过3mm厚的聚苯乙烯的物体图像重构，并详细分析了散斑的特性。

4. 思考

本文的照明条件是半导体激光器，具有很高相干性，而在实际应用场景中，基本都是自然光照明的条件，所以在后续实验中可以尝试在非相干光照明条件下的物体恢复情况。
再者， MNIST训练集的代表性比较差，在后续实验中也应采用特征更丰富，更接近使用场景的图片作为训练集和测试集。

基于学习的透过厚散射介质的无透镜光学成像相关推荐

透过散射介质的成像matlab,Advanced Photonics|深度神经网络实现透过厚散射介质成像...
原标题:Advanced Photonics|深度神经网络实现透过厚散射介质成像现有的解决光散射后成像的方法主要是采用相干光成像,该方法由于噪声高导致对比度很低,不能得到清晰的图像.近日,中国科学院 ...
透过散射介质的成像matlab,利用空间光调制器实现基于相位多样性的散射介质成像的制作方法...
本发明属于散射介质成像领域,具体说是一种利用空间光调制器实现基于相位多样性的散射介质成像方法. 背景技术: 传统的光学成像方法通常无法直接获得隐藏在散射介质后方的物体像,因此如何利用光学技术实现穿透散 ...
散射介质成像中弹道光子、蛇形光子、散射光子的概念
▒▒本文目录▒▒ 一.概念参考文献一.概念在一般常见的散射介质中,光子在被散射时表现为弹性散射.光在通过这类随机散射介质时没有发生能量的损失.此时光穿过散射介质的过程可以被看作为,光子随机碰到散 ...
一种基于光强传输方程的散射成像相位恢复仿真研究
目录一.前言二.基于光强传输方程的散斑相位恢复仿真实例 2.1 基于双平面的光强轴向微分估计 2.2 基于多平面的光强轴向微分估计参考文献一.前言当光线经过云雾.烟尘等散射介质时,会引起光子 ...
激光通过散射介质的聚焦
一.反馈优化算法改变空间光调制器相位基于角谱衍射公式和散射介质的圆形高斯分布模型,数值模拟光通过散射介质的聚焦.通过反馈优化算法实现散射光束的波前整形,在目标位置处形成一个很亮的聚焦光斑. 理论分析 ...
ZippyPoint: 一种基于学习的特征点提取+二进制描述子，速度提升5倍+，为移动平台提供一种ORB的替代方案...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨Realcat 来源丨计算机视觉SLAM 作者来自ETHZ Computer Vision实验 ...
Occupancy Networks：基于学习函数空间的三维重建表示方法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达概述随着深度神经网络的到来,基于学习的三维重建方法逐渐变得流行.但是和图像不同的是,在3D中没有规范 ...
卡内基梅隆大学提出基于学习的动作捕捉模型，用自监督学习实现人类3D动作追踪
原文来源:Cornell University Library 作者:Hsiao-Yu Fish Tung.Hsiao-Wei Tung.Ersin Yumer. Katerina Fragkiada ...
吉长江：基于学习的视频植入技术是未来趋势
本文来自影谱科技创新研发中心负责人吉长江在8月举行的LiveVideoStack Meet武汉站的分享,并由LiveVideoStack整理而成.吉长江详细介绍了视频植入的流程.典型方法.难点及技术趋 ...

基于学习的透过厚散射介质的无透镜光学成像

目录