深度學習SparseFLIM技術突破FLIM成像速度與精度瓶頸

1 背景與問題

熒光壽命成像顯微鏡（FLIM）作為一種強大的功能成像技術，能夠通過分辨內源性和外源性熒光團的激發態壽命，提供關於代謝、結合、離子濃度等生化微環境的定量讀數。這一特性使其在疾病發病機製解析、幹預指導及治療監測中展現出巨大的潛力。然而，FLIM技術的廣泛采納面臨著巨大的障礙，尤其是臨床轉化方面的限製。

傳統的FLIM依賴於時間相關單光子計數（TCSPC）技術來構建具有皮秒分辨率的熒光衰減曲線。雖然TCSPC信息量豐富，但其逐像素順序采集數據的特性導緻成像速度、分辨率和視場（FOV）之間存在固有的權衡。典型的幀率通常為數分鍾每兆像素，這嚴重限製了對動態過程的連續觀測。此外，長時間的曝光不僅會增加光漂白和光毒性，還容易引入樣品擾動和運動偽影，尤其是在光子效率較低的雙光子FLIM中。測量持續時間與信息保真度之間的這種相互依賴性，長期以來一直是FLIM技術發展的根本瓶頸。

為了解決這一核心挑戰，學術界和工業界迫切需要一種能夠從稀疏光子測量中重建高保真FLIM數據的技術方案，以打破速度與精度之間的“零和博弈”。

2 核心方案方案

在發表於Communications Biology的研究中，研究人員提出了SparseFLIM，這是一種基於深度學習的智能範式，旨在利用稀疏光子測量實現高保真的FLIM重建。該研究開發了一種耦合雙向傳播網絡，通過豐富光子計數並恢複隱藏的時空信息，成功克服了光子稀疏性和時空稀疏性的限製。

該方案的核心在於不僅僅重建一維（1D）壽命曲線或二維（2D）平均壽命圖，而是直接重建底層的x-y-t三維數據堆棧。網絡架構主要包含兩個分支：前向分支（）和後向分支（），它們促進了雙向信息流。

(1) 前向傳播：從序列開始到結束順序處理幀，利用前一幀的傳播特征計算當前幀特征，積累過往信息；

(2) 後向傳播：從序列結束到開始遞歸處理幀，結合未來幀的上下文信息；

(3) 耦合傳播：前向和後向分支之間交換信息，使每個分支都能整合來自整個FLIM序列的有用特征，從而實現更全面的序列建模。

此外，網絡還集成了來自視頻恢複框架的特征提取器，利用增強的可變形卷積網絡（EDVR）從關鍵幀及其相鄰幀中提取空間和時間特征。通過時空注意力機製融合互補特征，網絡能夠忽略不相關的特征信息，強調重建過程中的關鍵數據。

圖1.SparseFLIM的總體原理與驗證。a FLIM裝置及數據采集過程。b x-y平面上光子分布情況。c稀疏采集模式與充分采集模式下光子計數的比較。d二維平均壽命（τm）圖像（左）和三維壽命堆疊圖像（右）。e SparseFLIM的網絡結構。ti表示第i幀的時間。Ff、Fb分別為前向傳播分支和後向傳播分支；A為聚合模塊，Ff與Fb通過青色箭頭線耦合。f信息填充模塊：FE為特征提取器；Conv為卷積操作；Res為殘差塊。g稀疏光子輸入、網絡輸出與充分光子參考信號的對比。h稀疏光子采集中，圖g中標有十字的區域的自發熒光衰減。i使用我們的網絡從稀疏光子記錄中恢複的數據，與充分光子記錄的自發熒光衰減結果一緻。底部面板顯示擬合殘差。比例尺，100 μm。

3 實驗結果與分析

研究團隊利用包含飛秒激光、振鏡掃描儀和高速時間分辨探測器（HPM-100-40）的同步系統進行了FLIM測量。實驗數據表明，SparseFLIM在多項關鍵指標上實現了顯著突破。

3.1 成像速度與光子效率提升

在512 × 512的圖像采集實驗中：

(1) 高保真采集：每個像素約1000個光子，采集時間約 150秒；

(2) 稀疏采集：每個像素約100個光子，采集時間約 10秒。

SparseFLIM能夠處理這10秒獲取的稀疏光子數據，並將其重建為匹配150秒采集質量的高保真圖像。這意味著在保持圖像質量和關鍵信息內容的同時，實現了15倍的成像速度提升。

3.2 圖像質量與信噪比（SNR）增強

定量分析顯示，SparseFLIM在人類皮膚病理樣本的成像中表現出卓越的性能：

(1) 3D信噪比（SNR）：平均增加了 16.6 dB（從約-4.6 dB提升至約12 dB）；

(2) 結構相似性（SSIM）：平均增加了 137%（從約0.35提升至約0.84）；

(3) 皮爾遜相關系數：網絡重建結果與稀疏輸入相比，平均增加了 24倍（從約0.02提升至約0.63）。

圖2.網絡增強的無標簽FLIM數據對人皮膚組織的分析。a原始輸入圖像（Iτm）中光子稀疏分布（歸一化）。b通過SparseFLIM獲得的網絡增強光子圖像。c參考光子富集圖像。d–f為(a–c)中標記區域的放大視圖，顯示腺體（左）、紅細胞（中間）和真皮層（右）。黑色箭頭指示紅細胞。底部面板展示的τm映射提供了這些區域熒光壽命特性的全新視角。g Tukey箱線圖展示了SparseFLIM重建前後3D信噪比（SNR）和3D結構相似性指數（SSIM）的變化（n = 45個x-y-t堆疊）。h球形圖展示了網絡推斷前後熒光衰減軌跡的皮爾遜相關系數（n = 500,000），使用光子富集軌跡作為相關計算參考。i、j、k分別表示稀疏原始輸入、網絡增強光子圖像和光子富集數據的雙組分平均壽命直方圖分布及標準差（SD）。黑色箭頭標示光子富集程度。n = 7,772,430。l–n分別為歸一化輸入、網絡增強和光子富集參考的紅細胞特寫圖像。RBCs在5 ns窗口內可視化熒光衰減的x-t和y-t視圖，右下角繪製了累積衰減曲線，對應於y-t視圖中白色框區域內的壽命成分。對g和h中的輸入與輸出數據進行了雙尾Wilcoxon配對符號秩檢驗。空間尺度標尺：(a) 100 μm，(d, n) 50 μm；時間尺度標尺：(n) 100 ps。

3.3 光子富集能力

在超過700萬條熒光衰減軌跡的分析中，網絡使所有壽命間隔的光子計數平均實現了10倍以上的提升。網絡輸出端的平均光子分布達到約1000個，而輸入端僅為約100個。這一能力使得網絡能夠糾正因光子不足導緻的擬合偏差，恢複光子豐富數據中真實的、普遍存在的較短壽命組分（約1 ns）。

3.4 空間與時間稀疏性處理

為了進一步加速FLIM，研究還驗證了SparseFLIM在空間和時間維度上的上采樣能力：

(1) 空間上采樣（SU）：能夠將128 × 128像素的圖像重建至512 × 512分辨率，且信噪比顯著優於傳統的雙三次插值；

(2) 時間上采樣（TU）：能夠通過恢複缺失的時間幀來補償時間信息的丟失，SNR相比原始輸入提升了 36.7 dB。

圖3.SparseFLIM實現的空間與光子稀疏性增強。a SU SparseFLIM的網絡架構：Us為空間上采樣模塊，CP為采集到的像素，UnCP為未采集的像素。b熒光微球的輸入圖像及其對應的網絡重建結果。黃色虛線圓圈表示網絡能夠清晰分辨出的不可見微球。c放大圖像顯示一對微球。這個圖像中的實線表示所示橫截面的線條。d皮膚組織輸入與輸出圖像的比較。富含光子的圖像作為參考。e Tukey 四分位數箱線圖，展示輸入圖像和SU SparseFLIM 結果（n = 46 x-y-t 堆疊）之間皮膚數據三維信噪比的變化。f輸入圖像與SU SparseFLIM 結果進行雙三次上采樣後的FSC測量值。對(e)中的輸入與輸出進行了雙尾Wilcoxon對照配對符號秩檢驗。比例尺：(b, c) 為20 μm，(d)為100 μm。

圖4.SparseFLIM實現的時間和光子稀疏性增強。a TU SparseFLIM的網絡架構。Ut為時間上采樣模塊，深色方框表示采集到的幀，白色方框表示未采集的幀。b紅細胞（RBC）與真皮層圖像，綠色輪廓所示網絡重建了時間上補丁的幀。c紅細胞的正交視圖。y軸方向的白色虛線和箭頭指示在兩端顯示的選定x-y幀。這個右下角的柱狀圖展示了信噪比（SNR）的改善情況，單位為平均值±標準差。d皮膚組織輸入與輸出圖像的比較，其中光子富集圖像作為參考。e小提琴圖顯示了輸入（雙三次時間上采樣）與TU SparseFLIM重建結果之間皮膚數據壽命相關性的變化。n = 500,197條壽命軌跡。f圖(d)中叉號所指示位置的熒光衰減。對(e)中的輸入與輸出圖像進行了雙尾威爾科克森配對符號秩檢驗。比例尺：(b)為150 μm，(d)為100 μm。

3.5 模型泛化能力

SparseFLIM展現了強大的跨模態泛化能力，成功應用於：

(1) 單光子FLIM：有效恢複了肝臟轉移瘤的畸變壽命圖；

(2) 多光譜FLIM：準確恢複了低效率光譜波段（如441–466 nm和466–491 nm通道）的壽命信息；

(3) 體內內窺鏡FLIM：顯著降低了由光纖色散和低數值孔徑（NA）引起的壽命噪聲。

4 產品介紹

FlashMarker

熒光壽命成像FLIM

FlashMarker是一款熒光與磷光壽命成像平台，通過時間分辨單光子計數將壽命信息映射到樣品空間位置。它能夠識別強度成像難以區分的局部微環境、組分和能量轉移差異。適用於微納發光材料、二維材料、FRET分析、活細胞動態過程和大面積壽命分布測繪。FLIM正從生物成像擴展到二維材料、鈣鈦礦、發光微區和器件缺陷研究；在生命科學中，FRET、無標記代謝成像和微環境變化也是高頻應用。FlashMarker以壽命而非單純強度提供對比，可降低濃度、激發功率和光漂白差異的影響。

4.1 技術特點

(1) 基於SPC、TCSPC與MCS時間分辨單光子計數技術，將壽命信息與空間位置關聯成像；

(2) 支持激光光束掃描與位移台掃描雙模式，可在150 nm微區分辨或100 mm大範圍掃描之間配置；

(3) 支持Single point、Multipoint、Line scan和2D mapping，並具備ROI標記與XY自動成像；

(4) 最小時間分辨精度達到305 fs，可擴展FLIM、PLIM、FCS與FLCS等時間分辨成像應用；

(5) 壽命擬合、ROI分析和多區域比較用於區分不同發光組分、微環境或能量轉移狀態，而不依賴單一強度閾值。

產品優勢

(1) 雙掃描架構兼顧微區精細成像和大面積樣品測繪，配置IRF≤50 ps的高速探測通道、多光譜壽命通道和光譜分辨FLIM，兼顧微區高分辨與大面積壽命成像；

(2) 壽命成像降低發光強度、濃度和光漂白波動的幹擾，適合定量識別局部微環境與組分差異；

(3) 從單點到二維mapping的統一流程便於將光譜動力學發現進一步定位到空間結構；

(4) 同一系統兼顧微區FLIM與大面積掃描。

SparseFLIM通過深度學習突破了FLIM成像的速度與精度瓶頸，實現了15倍成像速度提升與10倍以上光子富集，SNR提升16.6 dB。東譜科技FlashMarker熒光壽命成像平台，集成TCSPC時間分辨單光子計數技術，支持150 nm微區分辨與100 mm大範圍掃描，可將SparseFLIM的智能重建能力落地於熒光壽命成像FLIM、FRET分析及活細胞動態過程監測等場景，為生物醫學成像提供從稀疏光子到高保真重建的一體化方案。

原文參考：Overcoming photon and spatiotemporal sparsity in fluorescence lifetime imaging with SparseFLIM