[發明專利]一種基于深度卷積神經網絡的前列腺MR圖像多任務配準方法

有效

• 申請號: 202010030035.5
• 申請日: 2020-01-13
• 公開（公告）號: CN111260705B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 杜博;廖健東
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/38
• 分類號: G06T7/38;G06T7/33;G06V10/80;G06N3/04;G06N3/08;G06T7/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于深度卷積神經網絡的前列腺MR圖像多任務配準方法，其特征在于，包括如下步驟：

步驟1，將不同格式的前列腺MR圖像進行統一格式處理并篩選；

步驟2，對圖像進行像素范圍裁剪及歸一化，統計圖像的體素間距分布，對圖像重采樣統一體素間距；

步驟3，設計雙路徑的深度卷積神經網絡模型實現多個圖像的配準，網絡模型的具體處理過程如下，

在編碼階段通過兩條不同路徑的卷積層和下采樣層分別提取運動圖像和參考圖像不同尺度的特征信息，即是在編碼階段分為上下支流，上支流的輸入是運動圖像，下支流的輸入是參考圖像，編碼階段上下支流的結構參數和操作相同，都包括10個卷積層和5個下采樣層，每經過兩次卷積層之后經過一次下采樣層；在解碼階段，是對編碼階段中學習的特征進行解碼，首先將上下兩個支流的特征圖進行疊加，然后通過10卷積層和5個上采層對上下兩個直流的特征進行融合及使解碼之后輸出的位移矢量場與原圖的大小一樣，每經過兩次卷積層之后經過一次上采樣層；同時，每次上采樣之后得到的特征圖通過跳躍連接與編碼階段上下兩支流相同尺度的特征圖進行疊加；最后一層使用1×1卷積對數據進行降維及輸出最后的位移矢量場；

步驟4，利用前列腺的標簽信息作為弱監督信息指導雙路徑的深度卷積神經網絡模型的訓練，并對位移矢量場進行正則化；

步驟4中，在訓練過程中使用循環一致性與逆一致性約束實現多任務互連，具體實現如下，

多任務是指A→B→A′；B→A→B′；A′→A→A″；B′→B→B″這四個任務，其中以A→B→A′為例，A表示運動圖像，B表示參考圖像，A′表示配準的結果圖像；其中循環一致性約束和逆一致性約束的數學表達式如下：

循環一致性：

|A-A″|²+|B-B″|²

逆一致性：

|Φ_AB-Φ_B′B|²+|Φ_BA-Φ_A′A|²

其中，Φ_AB表示從圖像A配準到圖像B網絡模型預測的位移矢量場，Φ_B′B表示從圖像B′配準到圖像B網絡模型預測的位移矢量場，Φ_BA表示從圖像B配準到圖像A網絡模型預測的位移矢量場，Φ_A′A表示從圖像A′配準到圖像A網絡模型預測的位移矢量場；

步驟5，將運動圖像和參考圖像輸入訓練好的網絡模型得到預測的位移矢量場，利用位移矢量場對運動圖像進行重采樣得到對應的配準結果。

2.如權利要求1所述的一種基于深度卷積神經網絡的前列腺MR圖像多任務配準方法，其特征在于：步驟3中，在編碼階段，卷積核的大小均為3×3，其中卷積層的卷積步長為1，下采樣層卷積步長為2，每經過一次下采樣層之后，卷積層特征通道數量都加倍，分別為32，64，128，256，512；在解碼階段，卷積核大小均為3×3，卷積層卷積步長為1，上采樣層卷積步長為2，每經過1次上采樣層之后的卷積層都將特征通道數減半，分別為512，256，128，64，32。

3.如權利要求1所述的一種基于深度卷積神經網絡的前列腺MR圖像多任務配準方法，其特征在于：步驟4中對位移矢量場進行正則化包括范圍約束正則化、L₂正則化及反折疊約束，其中范圍約束正則化的數學表達式如下：

其中，p表示像素點，Ω表示空間內的所有像素，Φ()表示生成的位移矢量場，h()表示變形后的像素網格，通過將位移矢量場與原始坐標相加得到，為位移矢量場的梯度，為L₂正則化，f_σ為分段函數；

其中，s表示像素網格的大小，即圖像的大??；

反折疊約束的數學表達式如下：

其中，Relu用于對產生折疊的位置進行懲罰，時表示此處存在折疊，其他值則表示無折疊，即不進行懲罰。