[發明專利]一種基于上下文注意力策略的三維肝臟影像語義分割方法

有效

• 申請號: 202110196132.6
• 申請日: 2021-02-22
• 公開（公告）號: CN112927255B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 張曉龍;邵賽;鄧春華;程若勤;李波
• 申請（專利權）人: 武漢科技大學
• 主分類號: G06T7/155
• 分類號: G06T7/155;G06V10/40;G06N3/04;G06N3/08;G06T5/30;G06T5/40
• 代理公司: 杭州宇信知識產權代理事務所(普通合伙) 33231
• 代理人: 張宇娟

1.一種基于上下文注意力策略的三維肝臟影像語義分割方法，其特征在于，包括如下步驟：

S1、選定待進行肝臟分割的醫療影像數據集，將其劃分為訓練集和測試集；

S2、對所述訓練集中的三維肝臟影像進行預處理，并輸入編解碼網絡模型，具體包括：

S21、將訓練集進行調窗處理，把灰度值設置在[-200,250]范圍內；

S22、對訓練集進行降采樣和重采樣，將圖像數據的z軸間隔調整到1mm；

S23、找到肝臟區域的開始和結束切片，并在兩個方向上向外擴張n個切片，n∈[15,20]；

S24、對訓練集中的圖像進行三維區域直方圖均衡化；

S25、對訓練集中的圖像進行最小最大歸一化操作，最小最大歸一化公式如下：

其中，x_max代表圖像CT的最大值，x_min代表圖像CT的最小值，x為圖像的CT值，x^*代表最小最大歸一化后的結果；

S26、隨機選擇48個連續的切片作為網絡的輸入，此時網絡的輸入尺寸為1×48×256×256；

S3、在編碼階段，利用殘差結構、卷積網絡和空洞卷積得到肝臟的特征圖，具體包括：

S31、設置網絡初始化參數，包括批處理大小、學習率、動量、最大迭代次數、L2權重和學習率衰減策略；

S32、使用kaiming正態分布初始化網絡權重，常數初始化偏差參數；

S33、將預處理后的三維圖像輸入到卷積神經網絡中，通過殘差結構和空洞卷積進行訓練得到若干特征信息；其中，在編碼階段共經過四層卷積，每層卷積由2-3個尺寸為3×3×3的三維卷積構成，倒數第二層分別加入膨脹率為2和4的空洞卷積，最后一層分別加入膨脹率為3,4,5的空洞卷積，最終得到肝臟的特征圖；卷積的輸入輸出尺寸關系為：

O＝(I-K+2P)/S+1

其中，I為輸入圖片大小，K為卷積核大小，S為步長，P為填充的像素數，O代表卷積層輸出的特征圖大小；

空洞卷積的計算過程如下：

其中，i₁代表輸入圖片大小，k₁為卷積核大小，p1為填充的像素數，d代表膨脹率，s₁為步長，o₁代表輸出的特征圖大小；

殘差結構如下：

x_l+1＝x_l+F(x_l,W_l),F＝W_l*x_l+b_l

其中，x_l代表輸入特征，F代表卷積操作，W_l代表卷積中的權重，b_l代表卷積中的偏置；

S4、在解碼階段，利用上下文注意力策略模塊、轉置卷積和深度監督機制得到肝臟的分割圖像，具體包括：

S41、在解碼階段，將步驟3得到的特征圖進行反卷積，公式如下：

o₂＝s₂(i₂-1)-2p₂+k₂

其中，o₂代表輸出的尺寸大小，p₂代表填充的大小，s₂代表卷積核移動的步長，i₂代表輸入的尺寸大小，k₂代表卷積核的尺寸大小；

S42、利用在編碼階段每層最后一次卷積得到的特征與步驟S41每層反卷積得到的特征，分別作為上層信息和下層信息來通過跳躍連接中的上下文注意力策略模塊得到注意力圖；

其中，在上下文注意力策略模塊中，分別有上層特征輸入和下層特征輸入，首先讓上層特征和下層特征分別通過1×1×1的卷積調整通道數，其次對兩個特征進行簡單的相加融合操作，然后經過上下兩條線路，其中上面一條路徑融合特征圖先經過ReLu激活函數，再經過一個三維卷積對通道維度進行壓縮，把channel維降為1，最后利用Sigmoid歸一化生成空間注意力系數和上層輸入x逐元素相乘，從而有效利用到醫療影像這種三維數據特有的空間信息；下面一條線路則經過3維全局自適應平均池化使特征圖在空間維度上進行壓縮，得到一個1×1×1×C的數據后再經過兩個三維卷積的Excitation過程，接著通過Sigmoid得到通道注意力系數，最后與空間特征圖做逐元素相乘就得到了上下文注意力策略圖；

S43、把每一層得到的上下文注意力策略圖與同一層經過上采樣的解碼層特征進行連接，再進行一系列的卷積操作提取特征；其中，解碼的每一層的結果都會經過不同尺度的上采樣恢復圖像尺寸得到一個輸出，最終會得到4個輸出，前3個輸出會作為深度監督機制中的輔助損失，最后的輸出作為輸出的最終的掩碼圖；

S44、在迭代訓練中的反向傳播過程，通過網絡預測的輸出與真實標簽比較計算損失，不斷迭代更新網絡參數，使得輸出結果接近真實值；

S5、對語義分割后得到的肝臟圖像進行后處理。