[發(fā)明專利]一種光場超分辨三維重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111054312.7
• 申請日: 2021-09-09
• 公開（公告）號: CN113870433A
• 公開（公告）日: 2021-12-31
• 發(fā)明（設(shè)計）人: 費鵬;朱蘭馨;易成強
• 申請（專利權(quán)）人: 華中科技大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢臻誠專利代理事務(wù)所(普通合伙) 42233
• 代理人: 胡星馳

本發(fā)明公開了一種光場超分辨三維重建方法及系統(tǒng)。方法包括以下步驟：(1)以靜態(tài)樣本為目標，獲取其高分辨率的事實三維數(shù)據(jù)；(2)進行模擬采樣，獲得與光場成像系統(tǒng)硬件相匹配的低分辨率光場投影和目標分辨率的高分辨率光場投影；(3)作為訓練數(shù)據(jù)訓練超分辨率網(wǎng)絡(luò)模型直至模型收斂獲得光場超分辨率重建模型；(4)將光場成像系統(tǒng)以靜態(tài)或動態(tài)樣本為目標獲得的光場圖像數(shù)據(jù)，輸入光場超分辨率重建模型，獲得目標分辨率的光場圖像；(5)進行三維重建，獲得靜態(tài)或動態(tài)樣本的高分辨率三維圖像。本發(fā)明能以超高速度獲取超衍射極限的光場多視角圖像，最終實現(xiàn)對動態(tài)樣本進行顯微成像，例如亞微米級生物動態(tài)過程。

技術(shù)領(lǐng)域

本發(fā)明屬于生物光子顯微成像領(lǐng)域，更具體地，涉及一種光場超分辨三維重建方法及系統(tǒng)。

背景技術(shù)

光場顯微成像技術(shù)具有極高的體成像速率，相較于需要通過掃描采集多張二維圖像來獲取三維信息的常規(guī)高分辨三維成像技術(shù)，其僅需采集單張圖像，便能獲取圖像的三維信息，這極大地提升了三維成像速度，為高速的活體動態(tài)成像提供了可能。光場顯微技術(shù)通過在探測光路中加入微透鏡陣列，使其獲取的二維圖像能同時包含橫向與角向信息。但這種方式由于需要通過單張圖像同時獲取橫向與角向信息，橫向信息需要欠采樣，相較于常規(guī)三維成像技術(shù)，空間分辨率較低。

為了彌補光場顯微成像的空間分辨率較低的問題，目前采用基于深度學習的超分辨率算法，進行光場超分辨率三維成像。然而目前基于深度學習的二維光場圖像超分辨算法是通過高規(guī)格的光場相機采集到較高分辨率的光場圖像作為目標圖像，然后通過降質(zhì)模擬為低分辨光場圖像，然后將兩者進行配對訓練，從而提高光場圖像的空間分辨率。上述方式雖致力于提高空間分辨率，但受限于訓練樣本的分辨率限制，其仍無法突破光場成像原理的衍射極限，相對于其他的三維成像方法，分辨能力依然較低。這導(dǎo)致目前的光場成像技術(shù)難以觀測到很多亞微米級生物動態(tài)過程。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的以上缺陷或改進需求，本發(fā)明提供了一種光場超分辨三維重建方法及系統(tǒng)，其目的在于通過模擬產(chǎn)生實際拍攝無法獲取到的超衍射極限的光場圖像，與實際拍攝能獲取到的光場圖像進行配對，在保持光場快速采集三維信息優(yōu)勢的同時，使空間分辨率突破光場衍射極限，由此解決現(xiàn)有的高分辨率三維成像技術(shù)不能對動態(tài)樣本進行顯微成像的技術(shù)問題。

為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種光場超分辨三維重建方法，其特征在于，包括以下步驟：

(1)以靜態(tài)樣本為目標，獲取其高分辨率的事實三維數(shù)據(jù)；

(2)對于步驟(1)獲得的高分辨率事實三維數(shù)據(jù)進行模擬采樣，獲得與光場成像系統(tǒng)硬件相匹配的低分辨率光場投影和目標分辨率的高分辨率光場投影；

(3)以步驟(2)獲取的與光場成像系統(tǒng)硬件相匹配的低分辨率光場投影和目標分辨率的高分辨率光場投影作為訓練數(shù)據(jù)，訓練超分辨率網(wǎng)絡(luò)模型，直至模型收斂獲得光場超分辨率重建模型；

(4)將光場成像系統(tǒng)以靜態(tài)或動態(tài)樣本為目標獲得的光場圖像數(shù)據(jù)，輸入步驟(3)獲得的光場超分辨率重建模型，獲得目標分辨率的光場圖像；

(5)對步驟(4)獲得的目標分辨率光場圖像進行三維重建，獲得所述靜態(tài)或動態(tài)樣本的高分辨率三維圖像。

優(yōu)選地，所述光場超分辨三維重建方法，其所述與光場成像系統(tǒng)硬件相匹配的低分辨率光場投影，按照以下方法獲得：

將所述高分辨率事實三維數(shù)據(jù)按照理論波動光學模型進行光場投影，獲得所述與光場成像系統(tǒng)硬件相匹配的低分辨率光場投影；N為同一角度的獲取周期，即每間隔N個像素為同一視角圖像。

優(yōu)選地，所述光場超分辨三維重建方法，其所述目標分辨率的高分辨率光場投影，按照以下方法獲得：