深度学习SparseFLIM技术突破FLIM成像速度与精度瓶颈

1 背景与问题

荧光寿命成像显微镜（FLIM）作为一种强大的功能成像技术，能够通过分辨内源性和外源性荧光团的激发态寿命，提供关于代谢、结合、离子浓度等生化微环境的定量读数。这一特性使其在疾病发病机制解析、干预指导及治疗监测中展现出巨大的潜力。然而，FLIM技术的广泛采纳面临着巨大的障碍，尤其是临床转化方面的限制。

传统的FLIM依赖于时间相关单光子计数（TCSPC）技术来构建具有皮秒分辨率的荧光衰减曲线。虽然TCSPC信息量丰富，但其逐像素顺序采集数据的特性导致成像速度、分辨率和视场（FOV）之间存在固有的权衡。典型的帧率通常为数分钟每兆像素，这严重限制了对动态过程的连续观测。此外，长时间的曝光不仅会增加光漂白和光毒性，还容易引入样品扰动和运动伪影，尤其是在光子效率较低的双光子FLIM中。测量持续时间与信息保真度之间的这种相互依赖性，长期以来一直是FLIM技术发展的根本瓶颈。

为了解决这一核心挑战，学术界和工业界迫切需要一种能够从稀疏光子测量中重建高保真FLIM数据的技术方案，以打破速度与精度之间的“零和博弈”。

2 核心方案方案

在发表于Communications Biology的研究中，研究人员提出了SparseFLIM，这是一种基于深度学习的智能范式，旨在利用稀疏光子测量实现高保真的FLIM重建。该研究开发了一种耦合双向传播网络，通过丰富光子计数并恢复隐藏的时空信息，成功克服了光子稀疏性和时空稀疏性的限制。

该方案的核心在于不仅仅重建一维（1D）寿命曲线或二维（2D）平均寿命图，而是直接重建底层的x-y-t三维数据堆栈。网络架构主要包含两个分支：前向分支（）和后向分支（），它们促进了双向信息流。

(1) 前向传播：从序列开始到结束顺序处理帧，利用前一帧的传播特征计算当前帧特征，积累过往信息；

(2) 后向传播：从序列结束到开始递归处理帧，结合未来帧的上下文信息；

(3) 耦合传播：前向和后向分支之间交换信息，使每个分支都能整合来自整个FLIM序列的有用特征，从而实现更全面的序列建模。

此外，网络还集成了来自视频恢复框架的特征提取器，利用增强的可变形卷积网络（EDVR）从关键帧及其相邻帧中提取空间和时间特征。通过时空注意力机制融合互补特征，网络能够忽略不相关的特征信息，强调重建过程中的关键数据。

图1.SparseFLIM的总体原理与验证。a FLIM装置及数据采集过程。b x-y平面上光子分布情况。c稀疏采集模式与充分采集模式下光子计数的比较。d二维平均寿命（τm）图像（左）和三维寿命堆叠图像（右）。e SparseFLIM的网络结构。ti表示第i帧的时间。Ff、Fb分别为前向传播分支和后向传播分支；A为聚合模块，Ff与Fb通过青色箭头线耦合。f信息填充模块：FE为特征提取器；Conv为卷积操作；Res为残差块。g稀疏光子输入、网络输出与充分光子参考信号的对比。h稀疏光子采集中，图g中标有十字的区域的自发荧光衰减。i使用我们的网络从稀疏光子记录中恢复的数据，与充分光子记录的自发荧光衰减结果一致。底部面板显示拟合残差。比例尺，100 μm。

3 实验结果与分析

研究团队利用包含飞秒激光、振镜扫描仪和高速时间分辨探测器（HPM-100-40）的同步系统进行了FLIM测量。实验数据表明，SparseFLIM在多项关键指标上实现了显著突破。

3.1 成像速度与光子效率提升

在512 × 512的图像采集实验中：

(1) 高保真采集：每个像素约1000个光子，采集时间约 150秒；

(2) 稀疏采集：每个像素约100个光子，采集时间约 10秒。

SparseFLIM能够处理这10秒获取的稀疏光子数据，并将其重建为匹配150秒采集质量的高保真图像。这意味着在保持图像质量和关键信息内容的同时，实现了15倍的成像速度提升。

3.2 图像质量与信噪比（SNR）增强

定量分析显示，SparseFLIM在人类皮肤病理样本的成像中表现出卓越的性能：

(1) 3D信噪比（SNR）：平均增加了 16.6 dB（从约-4.6 dB提升至约12 dB）；

(2) 结构相似性（SSIM）：平均增加了 137%（从约0.35提升至约0.84）；

(3) 皮尔逊相关系数：网络重建结果与稀疏输入相比，平均增加了 24倍（从约0.02提升至约0.63）。

图2.网络增强的无标签FLIM数据对人皮肤组织的分析。a原始输入图像（Iτm）中光子稀疏分布（归一化）。b通过SparseFLIM获得的网络增强光子图像。c参考光子富集图像。d–f为(a–c)中标记区域的放大视图，显示腺体（左）、红细胞（中间）和真皮层（右）。黑色箭头指示红细胞。底部面板展示的τm映射提供了这些区域荧光寿命特性的全新视角。g Tukey箱线图展示了SparseFLIM重建前后3D信噪比（SNR）和3D结构相似性指数（SSIM）的变化（n = 45个x-y-t堆叠）。h球形图展示了网络推断前后荧光衰减轨迹的皮尔逊相关系数（n = 500,000），使用光子富集轨迹作为相关计算参考。i、j、k分别表示稀疏原始输入、网络增强光子图像和光子富集数据的双组分平均寿命直方图分布及标准差（SD）。黑色箭头标示光子富集程度。n = 7,772,430。l–n分别为归一化输入、网络增强和光子富集参考的红细胞特写图像。RBCs在5 ns窗口内可视化荧光衰减的x-t和y-t视图，右下角绘制了累积衰减曲线，对应于y-t视图中白色框区域内的寿命成分。对g和h中的输入与输出数据进行了双尾Wilcoxon配对符号秩检验。空间尺度标尺：(a) 100 μm，(d, n) 50 μm；时间尺度标尺：(n) 100 ps。

3.3 光子富集能力

在超过700万条荧光衰减轨迹的分析中，网络使所有寿命间隔的光子计数平均实现了10倍以上的提升。网络输出端的平均光子分布达到约1000个，而输入端仅为约100个。这一能力使得网络能够纠正因光子不足导致的拟合偏差，恢复光子丰富数据中真实的、普遍存在的较短寿命组分（约1 ns）。

3.4 空间与时间稀疏性处理

为了进一步加速FLIM，研究还验证了SparseFLIM在空间和时间维度上的上采样能力：

(1) 空间上采样（SU）：能够将128 × 128像素的图像重建至512 × 512分辨率，且信噪比显著优于传统的双三次插值；

(2) 时间上采样（TU）：能够通过恢复缺失的时间帧来补偿时间信息的丢失，SNR相比原始输入提升了 36.7 dB。

图3.SparseFLIM实现的空间与光子稀疏性增强。a SU SparseFLIM的网络架构：Us为空间上采样模块，CP为采集到的像素，UnCP为未采集的像素。b荧光微球的输入图像及其对应的网络重建结果。黄色虚线圆圈表示网络能够清晰分辨出的不可见微球。c放大图像显示一对微球。这个图像中的实线表示所示横截面的线条。d皮肤组织输入与输出图像的比较。富含光子的图像作为参考。e Tukey 四分位数箱线图，展示输入图像和SU SparseFLIM 结果（n = 46 x-y-t 堆叠）之间皮肤数据三维信噪比的变化。f输入图像与SU SparseFLIM 结果进行双三次上采样后的FSC测量值。对(e)中的输入与输出进行了双尾Wilcoxon对照配对符号秩检验。比例尺：(b, c) 为20 μm，(d)为100 μm。

图4.SparseFLIM实现的时间和光子稀疏性增强。a TU SparseFLIM的网络架构。Ut为时间上采样模块，深色方框表示采集到的帧，白色方框表示未采集的帧。b红细胞（RBC）与真皮层图像，绿色轮廓所示网络重建了时间上补丁的帧。c红细胞的正交视图。y轴方向的白色虚线和箭头指示在两端显示的选定x-y帧。这个右下角的柱状图展示了信噪比（SNR）的改善情况，单位为平均值±标准差。d皮肤组织输入与输出图像的比较，其中光子富集图像作为参考。e小提琴图显示了输入（双三次时间上采样）与TU SparseFLIM重建结果之间皮肤数据寿命相关性的变化。n = 500,197条寿命轨迹。f图(d)中叉号所指示位置的荧光衰减。对(e)中的输入与输出图像进行了双尾威尔科克森配对符号秩检验。比例尺：(b)为150 μm，(d)为100 μm。

3.5 模型泛化能力

SparseFLIM展现了强大的跨模态泛化能力，成功应用于：

(1) 单光子FLIM：有效恢复了肝脏转移瘤的畸变寿命图；

(2) 多光谱FLIM：准确恢复了低效率光谱波段（如441–466 nm和466–491 nm通道）的寿命信息；

(3) 体内内窥镜FLIM：显著降低了由光纤色散和低数值孔径（NA）引起的寿命噪声。

4 产品介绍

FlashMarker

荧光寿命成像FLIM

FlashMarker是一款荧光与磷光寿命成像平台，通过时间分辨单光子计数将寿命信息映射到样品空间位置。它能够识别强度成像难以区分的局部微环境、组分和能量转移差异。适用于微纳发光材料、二维材料、FRET分析、活细胞动态过程和大面积寿命分布测绘。FLIM正从生物成像扩展到二维材料、钙钛矿、发光微区和器件缺陷研究；在生命科学中，FRET、无标记代谢成像和微环境变化也是高频应用。FlashMarker以寿命而非单纯强度提供对比，可降低浓度、激发功率和光漂白差异的影响。

4.1 技术特点

(1) 基于SPC、TCSPC与MCS时间分辨单光子计数技术，将寿命信息与空间位置关联成像；

(2) 支持激光光束扫描与位移台扫描双模式，可在150 nm微区分辨或100 mm大范围扫描之间配置；

(3) 支持Single point、Multipoint、Line scan和2D mapping，并具备ROI标记与XY自动成像；

(4) 最小时间分辨精度达到305 fs，可扩展FLIM、PLIM、FCS与FLCS等时间分辨成像应用；

(5) 寿命拟合、ROI分析和多区域比较用于区分不同发光组分、微环境或能量转移状态，而不依赖单一强度阈值。

产品优势

(1) 双扫描架构兼顾微区精细成像和大面积样品测绘，配置IRF≤50 ps的高速探测通道、多光谱寿命通道和光谱分辨FLIM，兼顾微区高分辨与大面积寿命成像；

(2) 寿命成像降低发光强度、浓度和光漂白波动的干扰，适合定量识别局部微环境与组分差异；

(3) 从单点到二维mapping的统一流程便于将光谱动力学发现进一步定位到空间结构；

(4) 同一系统兼顾微区FLIM与大面积扫描。

SparseFLIM通过深度学习突破了FLIM成像的速度与精度瓶颈，实现了15倍成像速度提升与10倍以上光子富集，SNR提升16.6 dB。东谱科技FlashMarker荧光寿命成像平台，集成TCSPC时间分辨单光子计数技术，支持150 nm微区分辨与100 mm大范围扫描，可将SparseFLIM的智能重建能力落地于荧光寿命成像FLIM、FRET分析及活细胞动态过程监测等场景，为生物医学成像提供从稀疏光子到高保真重建的一体化方案。

原文参考：Overcoming photon and spatiotemporal sparsity in fluorescence lifetime imaging with SparseFLIM