[發(fā)明專利]一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的前列腺MR圖像多任務(wù)配準(zhǔn)方法

有效

• 申請?zhí)枺?/td>: 202010030035.5
• 申請日: 2020-01-13
• 公開（公告）號: CN111260705B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計）人: 杜博;廖健東
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06T7/38
• 分類號: G06T7/38;G06T7/33;G06V10/80;G06N3/04;G06N3/08;G06T7/00
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的前列腺MR圖像多任務(wù)配準(zhǔn)方法，其特征在于，包括如下步驟：

步驟1，將不同格式的前列腺MR圖像進行統(tǒng)一格式處理并篩選；

步驟2，對圖像進行像素范圍裁剪及歸一化，統(tǒng)計圖像的體素間距分布，對圖像重采樣統(tǒng)一體素間距；

步驟3，設(shè)計雙路徑的深度卷積神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)多個圖像的配準(zhǔn)，網(wǎng)絡(luò)模型的具體處理過程如下，

在編碼階段通過兩條不同路徑的卷積層和下采樣層分別提取運動圖像和參考圖像不同尺度的特征信息，即是在編碼階段分為上下支流，上支流的輸入是運動圖像，下支流的輸入是參考圖像，編碼階段上下支流的結(jié)構(gòu)參數(shù)和操作相同，都包括10個卷積層和5個下采樣層，每經(jīng)過兩次卷積層之后經(jīng)過一次下采樣層；在解碼階段，是對編碼階段中學(xué)習(xí)的特征進行解碼，首先將上下兩個支流的特征圖進行疊加，然后通過10卷積層和5個上采層對上下兩個直流的特征進行融合及使解碼之后輸出的位移矢量場與原圖的大小一樣，每經(jīng)過兩次卷積層之后經(jīng)過一次上采樣層；同時，每次上采樣之后得到的特征圖通過跳躍連接與編碼階段上下兩支流相同尺度的特征圖進行疊加；最后一層使用1×1卷積對數(shù)據(jù)進行降維及輸出最后的位移矢量場；

步驟4，利用前列腺的標(biāo)簽信息作為弱監(jiān)督信息指導(dǎo)雙路徑的深度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，并對位移矢量場進行正則化；

步驟4中，在訓(xùn)練過程中使用循環(huán)一致性與逆一致性約束實現(xiàn)多任務(wù)互連，具體實現(xiàn)如下，

多任務(wù)是指A→B→A′；B→A→B′；A′→A→A″；B′→B→B″這四個任務(wù)，其中以A→B→A′為例，A表示運動圖像，B表示參考圖像，A′表示配準(zhǔn)的結(jié)果圖像；其中循環(huán)一致性約束和逆一致性約束的數(shù)學(xué)表達式如下：

循環(huán)一致性：

|A-A″|²+|B-B″|²

逆一致性：

|Φ_AB-Φ_B′B|²+|Φ_BA-Φ_A′A|²

其中，Φ_AB表示從圖像A配準(zhǔn)到圖像B網(wǎng)絡(luò)模型預(yù)測的位移矢量場，Φ_B′B表示從圖像B′配準(zhǔn)到圖像B網(wǎng)絡(luò)模型預(yù)測的位移矢量場，Φ_BA表示從圖像B配準(zhǔn)到圖像A網(wǎng)絡(luò)模型預(yù)測的位移矢量場，Φ_A′A表示從圖像A′配準(zhǔn)到圖像A網(wǎng)絡(luò)模型預(yù)測的位移矢量場；

步驟5，將運動圖像和參考圖像輸入訓(xùn)練好的網(wǎng)絡(luò)模型得到預(yù)測的位移矢量場，利用位移矢量場對運動圖像進行重采樣得到對應(yīng)的配準(zhǔn)結(jié)果。

2.如權(quán)利要求1所述的一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的前列腺MR圖像多任務(wù)配準(zhǔn)方法，其特征在于：步驟3中，在編碼階段，卷積核的大小均為3×3，其中卷積層的卷積步長為1，下采樣層卷積步長為2，每經(jīng)過一次下采樣層之后，卷積層特征通道數(shù)量都加倍，分別為32，64，128，256，512；在解碼階段，卷積核大小均為3×3，卷積層卷積步長為1，上采樣層卷積步長為2，每經(jīng)過1次上采樣層之后的卷積層都將特征通道數(shù)減半，分別為512，256，128，64，32。

3.如權(quán)利要求1所述的一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的前列腺MR圖像多任務(wù)配準(zhǔn)方法，其特征在于：步驟4中對位移矢量場進行正則化包括范圍約束正則化、L₂正則化及反折疊約束，其中范圍約束正則化的數(shù)學(xué)表達式如下：

其中，p表示像素點，Ω表示空間內(nèi)的所有像素，Φ()表示生成的位移矢量場，h()表示變形后的像素網(wǎng)格，通過將位移矢量場與原始坐標(biāo)相加得到，為位移矢量場的梯度，為L₂正則化，f_σ為分段函數(shù)；

其中，s表示像素網(wǎng)格的大小，即圖像的大小；

反折疊約束的數(shù)學(xué)表達式如下：

其中，Relu用于對產(chǎn)生折疊的位置進行懲罰，時表示此處存在折疊，其他值則表示無折疊，即不進行懲罰。