[發明專利]一種基于注意力機制的3D卷積神經網絡的前列腺MR圖像分割方法

有效

• 申請號: 202010030052.9
• 申請日: 2020-01-13
• 公開（公告）號: CN111275714B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 杜博;蘇成偉;朱其奎
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于注意力機制的3D卷積神經網絡的前列腺MR圖像分割方法，其特征在于，包括如下步驟：

步驟(1)，將不同格式的前列腺MR圖像進行格式統一；

步驟(1)的具體實現方式如下，

調用醫學圖像讀取函數，輸入前列腺MR圖像文件名和該圖像對應的分割圖文件名，分別讀入大小為H×W×D的矩陣X和Y中，矩陣X中各元素為前列腺MR圖像的像素值，矩陣Y中各元素為該元素對應的類別，H為前列腺MR圖像的長，W為前列腺MR圖像的寬，D為前列腺MR圖像的切片數；然后將矩陣X和Y存儲在HDF5文件中，同時使用SimpleITK讀取該圖像的模態、尺寸、體素間距、分割類別數，并根據矩陣Y，使用SimpleITK計算出該圖像的前列腺區域坐標，將這些屬性一并存入HDF5文件中；

步驟(2)，對圖像的像素值范圍進行裁剪，去除掉異常點；

步驟(3)，計算所有圖像的平均體素間距，將所有圖像重采樣為該平均體素間距；

步驟(4)，設計帶有注意力機制的3D卷積神經網絡；

該網絡的結構包括5個卷積層、4個下采樣層、4個上采樣層、4個注意力模塊，前4個卷積層后面分別連接1個下采樣層，第5個卷積層后面連接4個上采樣層，每個上采樣層后面連接1個注意力模塊，所述卷積層均為3D卷積層；該網絡的輸入為前列腺MR圖像，輸出為預測分割圖；

步驟(4)中注意力模塊接受來自下采樣層的低級特征和相應尺度上采樣層的高級特征，先對上采樣層的高級特征進行卷積和批歸一化，然后將它和下采樣層的低級特征串聯得到特征圖，最后使用全局池化層、全連接層、線性整流函數、全連接層和激活函數輸出權重向量，并使用該權重向量和一個卷積層重新加權特征圖；

步驟(5)，構建網絡的輸入時，使用過采樣策略平衡正負樣本的比例，訓練網絡；

步驟(5)中，先讀取步驟(1)中獲取的HDF5文件中的矩陣X、Y和前列腺區域坐標，然后設定過采樣概率P，同時使用一個產生0-1范圍的隨機數生成函數，若生成的隨機數大于P，則根據前列腺區域坐標，在矩陣X和Y的前列腺區域進行采樣；若生成的隨機數小于P，則在矩陣X和Y中隨機取樣；

步驟(6)，使用滑動窗口策略對前列腺MR圖像取樣，輸入訓練好的卷積神經網絡，輸出子圖像分割圖；

步驟(6)中，滑動窗口大小等于網絡輸入圖像的尺寸，滑動窗口步長設置為網絡輸入圖像尺寸的一半，將該滑動窗口內的子圖像輸入訓練好的網絡，獲得子圖像分割圖，使用加權平均的方法融合所有子圖像的分割圖，獲得該前列腺MR圖像完整的分割圖；

步驟(7)，將所有子圖像分割圖加權融合獲得完整的前列腺MR圖像分割圖。

2.如權利要求1所述的一種基于注意力機制的3D卷積神經網絡的前列腺MR圖像分割方法，其特征在于：步驟(2)中，將圖像的像素值按從小到大進行排序，計算其在0.5％處和99.5％處的像素值X_0.5和X_99.5，將圖像的所有像素值中低于X_0.5像素值置為X_0.5，高于X_99.5的像素值置為X_99.5，從而去除掉異常點，使圖像維持高的對比度。

3.如權利要求1所述的一種基于注意力機制的3D卷積神經網絡的前列腺MR圖像分割方法，其特征在于：步驟(4)中5個卷積層的卷積核個數設置為30、60、90、120、150，卷積核的大小為3×3×3。

4.如權利要求1所述的一種基于注意力機制的3D卷積神經網絡的前列腺MR圖像分割方法，其特征在于：訓練網絡時，圖像的前列腺區域賦予標簽1，非前列腺區域賦予標簽0，使用交叉熵損失函數進行訓練，網絡每次輸入若干個樣本，每輪訓練m次，共訓練n輪，學習率大小設置為10e-4。