[發(fā)明專利]一種基于連續(xù)二維金屬分布圖像的可微并行三維重建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210117356.8
• 申請(qǐng)日: 2022-02-08
• 公開（公告）號(hào): CN114596408A
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 王紀(jì)科;祁朋遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T15/00;G06T7/33;G06T7/13;G06T5/50;G06K9/62;G06V10/74
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明公開了一種基于二維連續(xù)金屬圖像的可微并行三維重建方法，通過對(duì)連續(xù)二維分布金屬圖片進(jìn)行數(shù)學(xué)建模以重建出金屬的三維分布，對(duì)理解生物生理關(guān)鍵問題具有指導(dǎo)作用。本發(fā)明提出了一種結(jié)合空間信息和強(qiáng)度信息的可微并行配準(zhǔn)方法，用來對(duì)連續(xù)二維金屬分布圖像進(jìn)行三維重建，其創(chuàng)新點(diǎn)主要在兩個(gè)地方：1)整個(gè)重建框架是可微且并行的，這極大地提高了重建效率；2)本發(fā)明將基于特征的配準(zhǔn)和基于強(qiáng)度的配準(zhǔn)相結(jié)合，從而提高了配準(zhǔn)精度。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像算法技術(shù)領(lǐng)域，具體是提出一種新型的連續(xù)金屬分布圖像的三維重建的方法。

背景技術(shù)

檢測(cè)金屬元素在生物體中的空間分布是生命科學(xué)中很重要的一個(gè)領(lǐng)域，由于生物體是由器官以及其對(duì)應(yīng)的微環(huán)境等各種三維結(jié)構(gòu)組成的，研究金屬在生命體中的三維分布則顯得更為重要。由此可見，發(fā)展快速又準(zhǔn)確的金屬三維重建技術(shù)勢(shì)在必行。

常見的三維成像方法是通過對(duì)連續(xù)二維分布金屬圖像進(jìn)行數(shù)學(xué)建模以重建得到金屬的三維分布。一般來說，從連續(xù)二維分布金屬圖像進(jìn)行的三維重建的方法有兩個(gè)步驟：首先，通過成像實(shí)驗(yàn)生成一個(gè)連續(xù)的連續(xù)二維分布金屬圖像數(shù)據(jù)集，用以顯示多個(gè)金屬元素的二維分布。第二步則是通過圖像數(shù)據(jù)集的順序?qū)B續(xù)圖像進(jìn)行一對(duì)一的配準(zhǔn)，具體來講，這種一對(duì)一的配準(zhǔn)方式是首先選擇圖像數(shù)據(jù)集中的一個(gè)圖像作為目標(biāo)圖像，將相鄰的圖像作為源圖像，通過空間信息或強(qiáng)度信息對(duì)這兩張圖像進(jìn)行配準(zhǔn)，一直重復(fù)上述過程到所有圖像都配準(zhǔn)完畢后，最終得到三維分布。

這種一對(duì)一順序配準(zhǔn)的方法存在三個(gè)問題：1)無法將圖像特征信息和像素灰度信息一起考慮，2)目前的配準(zhǔn)算法都是啟發(fā)式方法，還沒有一種可微分的框架，它可以使用基于梯度的優(yōu)化方法，3)必須將源圖像和目標(biāo)圖像一次匹配，當(dāng)圖像數(shù)量較大時(shí)，該方法會(huì)導(dǎo)致較大的時(shí)間成本。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提供一種可微且并行的三維重建算法，用來對(duì)連續(xù)二維金屬分布圖像進(jìn)行三維重建。

本發(fā)明提出了一種結(jié)合空間信息和強(qiáng)度信息的可微并行配準(zhǔn)方法，用于連續(xù)二維分布金屬圖像的三維重建。通過這樣做，本發(fā)明有兩個(gè)優(yōu)勢(shì)：首先，本發(fā)明可以同時(shí)利用空間信息和強(qiáng)度信息，這一整合會(huì)使三維重建過程更加準(zhǔn)確。其次，本發(fā)明提出一種可微分且并行的三維重建算法，該框架允許通過基于梯度的方法同時(shí)優(yōu)化所有二維圖像的參數(shù)，從而大大提高了時(shí)間效率；具體包括如下步驟：

步驟1，對(duì)所有二維金屬分布圖像進(jìn)行預(yù)處理，得到每一張二維圖像對(duì)應(yīng)的特征點(diǎn)集和融合圖像，并確定特征點(diǎn)集和融合圖像在變換過程中的統(tǒng)一形變模型，所述融合圖像是指將原始二維圖像的多個(gè)通道的圖像融合成的圖像；

步驟2，評(píng)估通過形變模型轉(zhuǎn)換后的相鄰數(shù)據(jù)對(duì)的相似度損失，包括相鄰兩個(gè)特征點(diǎn)集對(duì)的相似度損失和相鄰兩張融合圖像的相似度損失；

步驟3，基于平行可微分配準(zhǔn)方法進(jìn)行三維重建，重建的過程是將所有二維圖像相鄰數(shù)據(jù)對(duì)的相似度損失累加起來進(jìn)行最小化而得到，同時(shí)為了防止配準(zhǔn)過程陷入局部最優(yōu)，采用現(xiàn)有的優(yōu)化配準(zhǔn)策略，重建最終的三維分布。

進(jìn)一步的，步驟1中所述預(yù)處理包括，將任一金屬元素對(duì)應(yīng)的分布圖像作為參考圖像，然后提取每一張參考圖像中某一區(qū)域的輪廓作為圖像特征點(diǎn)集，并將分割結(jié)果作為所有元素的掩模；具體來說，是將所有二維金屬分布圖像的像素點(diǎn)展開為一維向量，然后將這些向量連接成一個(gè)整體，并使用高斯混合模型將這些像素分類為兩個(gè)聚類，然后進(jìn)行形態(tài)學(xué)操作，最后經(jīng)過二分類處理后得到某一金屬元素的掩模，然后利用UMAP算法將所有不同的二維金屬分布圖像融合成一個(gè)整體，得到每張二維金屬分布圖像的特征點(diǎn)集和融合圖像。

進(jìn)一步的，步驟1中所述形變模型為剛性變換模型或仿射變換模型或彈性形變模型。