[發(fā)明專利]時(shí)空聯(lián)合優(yōu)化重建方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910875805.3
• 申請(qǐng)日: 2019-09-17
• 公開（公告）號(hào): CN110706346B
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 盧志;吳嘉敏;肖紅江
• 申請(qǐng)（專利權(quán)）人: 浙江荷湖科技有限公司
• 主分類號(hào): G06T17/10
• 分類號(hào): G06T17/10;G06T19/20;G06T5/00
• 代理公司: 北京金蓄專利代理有限公司 11544
• 代理人: 劉立義

本發(fā)明提供一種基于掃描光場(chǎng)顯微成像系統(tǒng)的時(shí)空聯(lián)合優(yōu)化重建系統(tǒng)，包括：掃描光場(chǎng)采集模塊、預(yù)處理模塊及時(shí)空聯(lián)合雙向循環(huán)重建模塊。本發(fā)明還提供一種基于掃描光場(chǎng)顯微成像系統(tǒng)的時(shí)空聯(lián)合優(yōu)化重建方法。加入時(shí)空聯(lián)合約束，優(yōu)化了傳統(tǒng)重建算法，大大加快了重建速度，有效降低三維重建時(shí)間，并恢復(fù)了體成像時(shí)間分辨率，即掃描所犧牲的時(shí)間分辨率，同時(shí)消除了由于樣本過快變化帶來的運(yùn)動(dòng)模糊和偽影，從而提升了掃描光場(chǎng)顯微成像系統(tǒng)的性能，擴(kuò)展其在生物組織高速捕捉等場(chǎng)景下的應(yīng)用；對(duì)于整個(gè)時(shí)間延時(shí)三維視頻，時(shí)間雙向循環(huán)算法主要利用了四維信息在時(shí)間維度的連續(xù)性與冗余性，能夠提升整體的信噪比。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像三維重建技術(shù)領(lǐng)域，尤其涉及一種基于掃描光場(chǎng)顯微成像系統(tǒng)的時(shí)空聯(lián)合優(yōu)化重建方法及系統(tǒng)。

背景技術(shù)

三維成像一直是顯微成像研究領(lǐng)域中的熱點(diǎn)前沿，對(duì)科學(xué)家探索生命奧秘、疾病機(jī)理均有重大意義。掃描光場(chǎng)顯微成像系統(tǒng)是一項(xiàng)重要的三維成像技術(shù)。它將亞像素平移引入了傳統(tǒng)光場(chǎng)顯微成像系統(tǒng)中，克服了傳統(tǒng)光場(chǎng)顯微的低空間分辨率問題，達(dá)到衍射極限成像。同時(shí)，掃描光場(chǎng)顯微成像系統(tǒng)的采集速度可達(dá)到100Hz，可被應(yīng)用于眾多亞細(xì)胞級(jí)別的三維動(dòng)態(tài)觀測(cè)之中。這是一項(xiàng)非常有前景的三維顯微成像技術(shù)。

而另一方面，掃描光場(chǎng)顯微成像系統(tǒng)存在一定的缺陷。第一是采集速度快，但后處理重建速度緩慢，這對(duì)計(jì)算機(jī)性能帶來很大的挑戰(zhàn)，而且無法用于實(shí)時(shí)成像之中；第二是實(shí)際體成像幀率遠(yuǎn)低于圖像采集幀率，體成像幀率只有約10Hz，因?yàn)閽呙韫鈭?chǎng)顯微成像系統(tǒng)需要采集多張掃描光場(chǎng)數(shù)據(jù)，才能夠重建出一個(gè)三維體積；第三是無法對(duì)超快運(yùn)動(dòng)的生物組織進(jìn)行成像，當(dāng)多張掃描光場(chǎng)數(shù)據(jù)所記錄的樣本形態(tài)差距過大時(shí)，掃描光場(chǎng)顯微成像系統(tǒng)的重建結(jié)果容易出現(xiàn)運(yùn)動(dòng)模糊和偽影，造成了數(shù)據(jù)的不準(zhǔn)確性。因此，掃描光場(chǎng)顯微成像系統(tǒng)在高動(dòng)態(tài)的成像環(huán)境中，表現(xiàn)出較大局限性。這些缺陷制約了掃描光場(chǎng)顯微成像系統(tǒng)的進(jìn)一步發(fā)展和應(yīng)用。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明旨在通過時(shí)空聯(lián)合優(yōu)化的方法提升掃描光場(chǎng)顯微成像系統(tǒng)的三維重建性能，盡可能地恢復(fù)由掃描帶來的時(shí)間分辨率損失，去除由于樣本過快變化帶來的運(yùn)動(dòng)模糊和偽影，并大幅提升重建速度。

為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

本發(fā)明采用如下技術(shù)方案：

在一些可選的實(shí)施例中，提供一種時(shí)空聯(lián)合優(yōu)化重建系統(tǒng)，包括：

掃描光場(chǎng)采集模塊，用于將樣本的信息轉(zhuǎn)化為光信號(hào)，再轉(zhuǎn)化為光場(chǎng)圖像數(shù)據(jù)并采集所述光場(chǎng)圖像數(shù)據(jù)，以獲得掃描光場(chǎng)數(shù)據(jù)堆棧；

預(yù)處理模塊，用于將所述光場(chǎng)圖像數(shù)據(jù)進(jìn)行預(yù)處理，校正所述光場(chǎng)圖像數(shù)據(jù)以符合物理模型，并按照時(shí)間順序構(gòu)建圖像堆棧；

時(shí)空聯(lián)合雙向循環(huán)重建模塊，用于判定光場(chǎng)圖像數(shù)據(jù)方向，依據(jù)所述光場(chǎng)圖像數(shù)據(jù)方向滑動(dòng)窗口讀取數(shù)據(jù)，并根據(jù)樣本運(yùn)動(dòng)速率確定時(shí)間權(quán)重，將加權(quán)后的光場(chǎng)圖像數(shù)據(jù)進(jìn)行像素重新排列并進(jìn)行空間上采樣以獲取四維相空間數(shù)據(jù)，使用理查德森露西算法對(duì)空間三維體積進(jìn)行重建。

在一些可選的實(shí)施例中，所述時(shí)空聯(lián)合雙向循環(huán)重建模塊，包括：

數(shù)據(jù)方向判定單元，用于進(jìn)行光場(chǎng)圖像數(shù)據(jù)方向的判定，首先按照時(shí)間從前到后的順序，確定數(shù)據(jù)輸入方向，當(dāng)輸入到最后一幀時(shí)，再將時(shí)間反方向，數(shù)據(jù)方向?yàn)閺淖詈笠粠降谝粠?/p>

滑動(dòng)窗口讀取單元，用于滑動(dòng)窗口讀取數(shù)據(jù)，根據(jù)所述數(shù)據(jù)方向判定單元判定的數(shù)據(jù)方向，每次滑動(dòng)讀取對(duì)應(yīng)于一個(gè)體積的掃描數(shù)據(jù)；

時(shí)間權(quán)重交錯(cuò)單元，用于根據(jù)樣本運(yùn)動(dòng)速率，確定時(shí)間權(quán)重；

相空間數(shù)據(jù)提取單元，用于將加權(quán)后的光場(chǎng)圖像數(shù)據(jù)進(jìn)行像素重新排列，并進(jìn)行空間上采樣，獲取四維相空間數(shù)據(jù)；