[發(fā)明專(zhuān)利]一種結(jié)構(gòu)保持的弱監(jiān)督多模態(tài)前列腺圖像配準(zhǔn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210553346.9
• 申請(qǐng)日: 2022-05-20
• 公開(kāi)（公告）號(hào): CN114897948A
• 公開(kāi)（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 何徐晨;吳夢(mèng)麟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T7/33
• 分類(lèi)號(hào): G06T7/33;G06T7/00;G06T3/40;G06N3/08;G06N3/04;G06V10/82;G06V10/764
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 田凌濤

1.一種結(jié)構(gòu)保持的弱監(jiān)督多模態(tài)前列腺圖像配準(zhǔn)方法，其特征在于：通過(guò)步驟i至步驟ii，獲得前列腺圖像變換模型；然后執(zhí)行步驟A至步驟B，應(yīng)用前列腺圖像變換模型，實(shí)現(xiàn)目標(biāo)對(duì)象所對(duì)應(yīng)分別已知圖像中前列腺器官區(qū)域的三維前列腺磁共振(MRI)圖像、前列腺經(jīng)直腸超聲(TRUS)圖像之間的配準(zhǔn)；

步驟i.基于預(yù)設(shè)數(shù)量三維前列腺M(fèi)RI樣本圖像、以及各三維前列腺M(fèi)RI樣本圖像分別對(duì)應(yīng)區(qū)分圖像中前列腺器官區(qū)域的二值化三維前列腺M(fèi)RI樣本圖像，分別與各三維前列腺M(fèi)RI樣本圖像同屬相同對(duì)象的各前列腺TRUS樣本圖像、以及各前列腺TRUS樣本圖像分別對(duì)應(yīng)區(qū)分圖像中前列腺器官區(qū)域的各二值化前列腺TRUS樣本圖像，結(jié)合分別用于描述各三維前列腺M(fèi)RI樣本圖像中前列腺器官區(qū)域變換至相同對(duì)象的前列腺TRUS樣本圖像中前列腺器官區(qū)域輪廓形狀的方法的各位移場(chǎng)，構(gòu)建樣本集，然后進(jìn)入步驟ii；

步驟ii.基于樣本集，以三維前列腺M(fèi)RI樣本圖像和對(duì)應(yīng)二值化三維前列腺M(fèi)RI樣本圖像中的前列腺器官區(qū)域、以及與其同屬相同對(duì)象的前列腺TRUS樣本圖像和對(duì)應(yīng)二值化前列腺TRUS樣本圖像中的前列腺器官區(qū)域?yàn)檩斎耄悦枋鲈撊S前列腺M(fèi)RI樣本圖像中前列腺器官區(qū)域變換至該前列腺TRUS樣本圖像中前列腺器官區(qū)域輪廓形狀的方法的位移場(chǎng)為輸出，針對(duì)待訓(xùn)練網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得前列腺圖像變換模型；

步驟A.針對(duì)目標(biāo)對(duì)象所對(duì)應(yīng)的三維前列腺M(fèi)RI圖像和前列腺TRUS圖像，應(yīng)用前列腺圖像變換模型，獲得描述該三維前列腺M(fèi)RI圖像中前列腺器官區(qū)域變換至該前列腺TRUS圖像中前列腺器官區(qū)域輪廓形狀的方法的位移場(chǎng)，然后進(jìn)入步驟B；

步驟B.由該三維前列腺M(fèi)RI圖像，并按該位移場(chǎng)所描述的方法，獲得該三維前列腺M(fèi)RI圖像中前列腺器官區(qū)域變換至該前列腺TRUS樣本圖像中前列腺器官區(qū)域輪廓形狀后的三維前列腺M(fèi)RI目標(biāo)圖像，實(shí)現(xiàn)目標(biāo)對(duì)象所對(duì)應(yīng)三維前列腺M(fèi)RI圖像、前列腺TRUS圖像之間的配準(zhǔn)。

2.根據(jù)權(quán)利要求1所述一種結(jié)構(gòu)保持的弱監(jiān)督多模態(tài)前列腺圖像配準(zhǔn)方法，其特征在于：所述步驟ii中的待訓(xùn)練網(wǎng)絡(luò)為多級(jí)自注意力卷積神經(jīng)網(wǎng)絡(luò)，包括第一下采樣模塊、第二下采樣模塊、第三下采樣模塊、第一上采樣模塊、第二上采樣模塊、第三上采樣模塊、以及四個(gè)三線性上采樣模塊；

其中，第一下采樣模塊包括一個(gè)自注意力機(jī)制塊、三個(gè)特征提取模塊、一個(gè)減少冗余特征模塊、一個(gè)相加模塊，自注意力機(jī)制塊的輸入端構(gòu)成第一下采樣模塊的輸入端；三個(gè)特征提取模塊依次串聯(lián)，并且其中第一位置的特征提取模塊輸入端構(gòu)成該串聯(lián)結(jié)構(gòu)的輸入端，以及其中第一位置的特征提取模塊輸出端與第三位置的特征提取模塊輸出端接入相加模塊，由相加模塊的輸出端構(gòu)成該串聯(lián)結(jié)構(gòu)的輸出端；自注意力機(jī)制塊的輸出端與該串聯(lián)結(jié)構(gòu)的輸入端相連接，該串聯(lián)結(jié)構(gòu)的輸出端與減少冗余特征模塊的輸入端相連接，減少冗余特征模塊的輸出端構(gòu)成第一下采樣模塊的輸出端；

第二下采樣模塊的結(jié)構(gòu)與第三下采樣模塊的結(jié)構(gòu)相同，第二下采樣模塊、第三下采樣模塊分別均包括一個(gè)自注意力機(jī)制塊、兩個(gè)特征提取模塊、一個(gè)減少冗余特征模塊、一個(gè)相加模塊，其中，自注意力機(jī)制塊的輸入端構(gòu)成下采樣模塊的輸入端，兩個(gè)特征提取模塊依次串聯(lián)，自注意力機(jī)制塊的輸出端與該串聯(lián)結(jié)構(gòu)的輸入端相連接，同時(shí)，自注意力機(jī)制塊的輸出端與該串聯(lián)結(jié)構(gòu)的輸出端接入相加模塊，由相加模塊的輸出端對(duì)接減少冗余特征模塊的輸入端，減少冗余特征模塊的輸出端構(gòu)成下采樣模塊的輸出端；

第一上采樣模塊的結(jié)構(gòu)、第二上采樣模塊的結(jié)構(gòu)、第三上采樣模塊的結(jié)構(gòu)三者相同，分別均包括一個(gè)擴(kuò)大尺度模塊、兩個(gè)特征提取模塊、一個(gè)相加模塊、一個(gè)三線性加法上采樣模塊，其中，擴(kuò)大尺度模塊的輸入端、三線性加法上采樣模塊的輸入端構(gòu)成上采樣模塊的輸入端，兩個(gè)特征提取模塊依次串聯(lián)，且該串聯(lián)結(jié)構(gòu)的輸入端與該串聯(lián)結(jié)構(gòu)的輸出端接入相加模塊，由相加模塊的輸出端構(gòu)成該串聯(lián)結(jié)構(gòu)的輸出端，且該串聯(lián)結(jié)構(gòu)的輸出端構(gòu)成上采樣模塊的輸出端，擴(kuò)大尺度模塊的輸出端與三線性加法上采樣模塊的輸出端彼此相匯聚，構(gòu)成匯聚端；

第一下采樣模塊的輸入端構(gòu)成多級(jí)自注意力神經(jīng)網(wǎng)絡(luò)的輸入端，第一下采樣模塊、第二下采樣模塊、第三下采樣模塊依次串聯(lián)，第三下采樣模塊的輸出端對(duì)接第一上采樣模塊的輸入端，第三下采樣模塊中自注意力機(jī)制塊的輸出端與第一上采樣模塊中的匯聚端接入相加模塊，該相加模塊的輸出端對(duì)接第一上采樣模塊中串聯(lián)結(jié)構(gòu)的輸入端；第一上采樣模塊的輸出端對(duì)接第二上采樣模塊的輸入端，第二下采樣模塊中自注意力機(jī)制塊的輸出端與第二上采樣模塊中的匯聚端接入相加模塊，該相加模塊的輸出端對(duì)接第二上采樣模塊中串聯(lián)結(jié)構(gòu)的輸入端；第二上采樣模塊的輸出端與第一下采樣模塊中串聯(lián)結(jié)構(gòu)中第一位置的特征提取模塊輸出端接入相加模塊，該相加模塊的輸出端對(duì)接第三上采樣模塊的輸入端，第三上采樣模塊中的匯聚端對(duì)接其串聯(lián)結(jié)構(gòu)的輸入端；

第三下采樣模塊的輸出端、第一上采樣模塊的輸出端、第二上采樣模塊的輸出端、第三上采樣模塊的輸出端分別一一對(duì)應(yīng)連接各三線性上采樣模塊的輸入端，各三線性上采樣模塊的輸出端彼此接入相加模塊，由該相加模塊構(gòu)成多級(jí)自注意力神經(jīng)網(wǎng)絡(luò)的輸出端。