研究进展：深度学习在超分辨显微成像中的发展与应用

超分辨显微成像技术打破了传统显微镜存在的衍射极限限制，提供了前所未有的细节观察能力，使人们得以观察到衍射极限以下的微观世界，有力地推动了生物医学、细胞学、神经科学等领域的发展。然而，现有的超分辨显微成像技术存在成像速度慢、重建图像含有伪影、对生物样品光损伤大、轴向分辨率低等缺陷。

近年来，得益于人工智能技术的快速发展，深度学习被用于研究克服超分辨显微技术的各种缺陷，突破了超分辨显微成像技术的发展瓶颈。

深度学习是机器学习的一个分支，其通过多层人工神经网络对数据进行计算处理，根据是否需要已标注数据进行训练进行区分，网络可以分为有监督学习和无监督学习两种学习方式。近年来，深度学习快速发展，产生了诸多神经网络框架，如：卷积神经网络（CNN）、生成对抗网络（GAN）、U-Net、ResNet、Faster R-CNN网络等。神经网络具有极强的自适应性，可以通过反向传播算法对自身不断优化，实现更好的数据拟合，同时其具备端到端的学习能力，实现输入端到输出端的直接映射。

深度学习在超分辨率成像领域应用框架图

基于深度学习的优秀特性，使其在图像超分辨、图像去噪、图像分割等方面表现出色，这吸引了超分辨显微成像领域研究者的注意，他们将深度学习与超分辨显微技术进行结合，进一步提升成像分辨率，并克服了传统方法的超分辨显微技术缺陷。

南京理工大学、深圳萨米医疗中心的科研团队，在《中国激光》发表综述文章，总结了深度学习对超分辨显微技术的优化效果，并介绍了不同网络在超分辨显微技术上的应用成效。

受激发射损耗显微术（STED）是主流的超分辨技术之一，它通过高斯激发光和环形光束的配合，实现超分辨成像。然而，STED存在光毒性、成像速度慢和轴向分辨率低等问题。

STED 光路原理图

为了降低光毒性，提升分辨率，研究人员将寿命调谐分离（SPLIT）技术与STED技术相结合，并与GAN网络框架相结合，形成了基于GAN估计的荧光寿命成像网络（flimGANE），提升了系统的分辨率和鲁棒性。

为了提高成像速度，减少光损伤，美国佛罗里达大学的Ebrahimi等提出使用多阶段渐进图像恢复（MPRNet）的方法，实现了STED的像素停留时间减小1-2个数量级，极大提升了成像速度。

不同网络框架图和实验结果。（a）MPRNet网络架构；（b）U2OS细胞中β-微管蛋白（STAR635P）的MPRNet重建图像；（c）STED-flimGANE网络结构图；（d）功率耗损极端条件下的强度图像；（e）低噪声SRDAN与其他方法的核孔成像对比图；（f）各算法核孔图像的线强度分布

此外，还有研究通过深度对抗网络（DAN-based）和结合单螺旋点扩散函数与深度学习算法，进一步提升了STED的横向和轴向分辨率。

单分子定位显微镜（SMLM）包括STORM和PALM，通过随机激发荧光分子并定位重建来实现超分辨成像，但存在时间分辨率低、光毒性、光漂白、分子定位精度和速度等问题。

单分子定位显微成像原理

为了提高重建速度，Nehme等提出了无参数超分辨率图像重建方法Deep-STORM，Sahel和Eldar提出了Self-STORM，Li等受Deep-STORM启发结合递归神经网络提出了Deep Recurrent-Supervised Network-STORM（DRSN-STORM），Boyd等提出了DeepLOCO网络架构，Speiser等提出了一种基于U-Net网络的Deep Context Dedependent（DECODE）架构，这些方法都提高了成像速度和定位精度。

提高图像重建速度相关网络与重建结果。（a）Deep-STORM重建效果对比图；（b）SelfSTORM网络架构；（c）SelfSTORM重建效果对比图；（d）DRSNSTORM网络架构，特征提取模块（FEM）、推理模块（IM）、重建模块（RM）；（e）DRSNSTORM微管图像重建效果；（f）DECODE重建效果图

为了减少重建所需帧数，Ouyang等开发出了ANN-PALM，Gaire等基于CNN网络提出了一种新的方法，Saguy等将双向卷积神经网络与长短期存储器相结合，提出了DBlink网络。

减少图像重建帧数相关的网络架构以及重建结果。（a）ANNA-PAM网络架构；（b）ANNA-PAM重建与PALM对比；（c）多色单分子图像重建CNN框架；（d）多色单分子网络重建效果；（e）DBlink网络架构

为了提升定位精度，Möckl等基于U-Net架构提出了Background Net（BGNet）网络，Cascarano等提出了DeepCEL0网络，Nehme等提出了DeepSTORM3D。

高精度分子定位相关网络与重建结果。（a）BGNet网络架构；（b） BGNet对三种PSF成像方式的背景估计；（c）各算法在IEEE ISBI微管数据集的重建结果对比，上半部分为二值化图像，下半部分为标准化图像；（d）物理模拟反馈流程；（e）四足PSF和学习PSF的定位结果

为了提取光谱信息，Zhang等提出了一种用于多路单分子分析的深度神经网络SingleMolecule Net（smNet），Kim等使用颜色区分网络和轴向定位网络神经，Hershko等利用神经网络对多色超分辨成像进行了两步优化，Zhang等利用机器学习分析荧光分子的全谱图。

深度学习从PSF中提取附加光谱信息的网络及成像结果。（a）smNet 网络架构和重建效果图；（b）颜色分离与轴向定位架构与重建效果；（c）优化相位掩模的图像颜色分类过程图；（d）荧光标记的HeLa细胞成像图；（e）COS-7细胞的颜色分类图像

结构光照明显微镜（SIM）使用图案照明激发荧光，通过图像重建算法生成超分辨图像，但存在光漂白、光损伤、图像重建算法要求高和易产生伪影等问题。

SIM成像光路以及原理图。（a）SIM成像光路图；（b）SIM的光谱扩展；（c）SIM成像图

为了降低光毒性，Jin等利用深度学习方法基于U-Net网络减少了SIM重建所需的原始图像和光剂量，Qiao等建立了通道注意力网络（caGAN）和傅里叶通道注意网络（DFCAN），Cheng等提出了快速轻量级SIM超分辨网络（FLSN）。

深度学习在结构光超分辨显微成像中的成像结果。（a）U-Net-SIM3 网络架构；（b）弱光条件下U-Net-SIM5和scU-Net的重建结果；（c）使用CycleGAN网络的SIM纳米珠成像图；（d）低信噪比下caGAN微管成像；（e）DFCAN的傅里叶注意机制原理示意图；（f）DFCAN重建f-肌动蛋白细胞骨架图像

为了提升成像质量，Shah团队将经典的计算重建方法fairSIM与残差编码器-解码器网络（RED-Net）相结合，Chen等基于残差神经网络构建CR-SIM，Liao等使用CNN网络直接建立原始MSIM图像与重建后的MSIM的映射关系，Burns等使用RCAN网络实现了从2D-SIM重建达到3D-SIM的轴向分辨率。

为了增强神经网络的泛用性，Qiao等搭建了多模态SIM系统，Burns等构建物理信息神经网络（PINN）。

BioSR数据集和PINN网络相关图像。（a）BioSR数据集；（b）PINN 网络架构；（c）基于PINN的非线性SIM分辨率在多种对象类型上的优化结果图

研究者们尝试使用深度学习将非超分辨成像技术所成图像直接转换为超分辨图像，如Wang等使用GAN实现了共聚焦图像与STED相匹配的分辨率，Huang等提出的双通道注意力网络（TCAN）提高了图像分辨率。

深度学习实现跨模态转换网络结构图以及结果图。（a）深度学习实现荧光显微镜的跨模态转换网络框架；（b）从共聚焦到STED的跨模态图像转换结果图；（c）TCAN网络生成器部分网络结构图；（d）DFCAN 机制网络图；（e）TCAN对微管进行超分辨率成像结果图

尽管深度学习在超分辨显微成像领域取得了显著成果，但仍面临一些挑战，如高分辨率图像获取困难、训练成本高、模型可信度有待提升等。为了解决这些问题，可以建立公共数据集、轻量化网络模型、提高网络泛用性和可解释性。

综上所述，深度学习目前已经在超分辨显微成像领域取得了诸多优秀的成果，尽管其仍存在一定的问题，但可以预见的是，随着深度学习理论进一步完善以及实践的不断进步，这些问题将被逐步解决，深度学习技术将大力推动着超分辨显微成像技术的持续进步，创造更多优秀的成果。

内容来源：

鲁心怡,黄昱,张梓童,吴天筱,吴洪军,刘永焘,方中,左超,陈钱.深度学习在超分辨显微成像中的研究进展（特邀）[J].激光与光电子学进展,2024,61(16):1611002. Xinyi Lu,Yu Huang,Zitong Zhang,Tianxiao Wu,Hongjun Wu,Yongtao Liu,Zhong Fang,Chao Zuo,Qian Chen.Advances in Deep Learning for Super-Resolution Microscopy（Invited）[J].Laser & Optoelectronics Progress,2024,61(16):1611002.