[發明專利]基于多模態特征融合的雙路徑腦腫瘤分割方法

在審

• 申請號: 202110906777.4
• 申請日: 2021-08-09
• 公開（公告）號: CN113674229A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 方玲玲;王欣
• 申請（專利權）人: 遼寧師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/187;G06N3/04;G06N3/08
• 代理公司: 大連非凡專利事務所 21220
• 代理人: 閃紅霞

1.一種基于多模態特征融合的雙路徑腦腫瘤分割方法，是將待分割的腦腫瘤圖像輸入到訓練好的模型中進行分割，其特征在于所述訓練好的模型是按照如下步驟構建而成：

步驟1：建立數據集

步驟1.1取多模態MRI腦腫瘤醫學圖像中的FLAIR、T1c及T2三種單模態MRI圖像，通過區域生長算法獲取任意一個單模態MRI圖像的三維mask圖像；

步驟1.2按照公式(1)計算對任意一個單模態MRI圖像選取幀差圖像的閾值DI：

式(1)中，X,Y,Z分別表示該單模態MRI圖像的寬度、高度和維度，I(i,j)表示該單模態MRI圖像在(i,j)位置上的像素值；

從t＝1開始統計t序列和t+1序列之間的閾值相鄰特征差ΔDI＝DI_t+1-DI_t，直至t＝Z，當ΔDI＞0時，保留當前的t序列為差分序列，否則，刪除當前t序列；根據所選取的差分序列，獲得FLAIR、T1c及T2三種單模態MRI圖像的差分圖像及三維mask圖像的差分圖像；

步驟1.3采用N4ITK方法對所獲得的FLAIR、T1c及T2三種單模態MRI圖像的差分圖像進行偏置場校正；

步驟1.4將通過偏置場校正的FLAIR、T1c及T2三種單模態MRI圖像的差分圖像和三維mask圖像的差分圖像整合，構成數據集；

步驟2：構建雙路徑深度網絡模型

構建有1個輸入層、40個卷積層、4個轉置卷積層、3個最大池化層、18個連接層和1個輸入層的雙路徑深度網絡模型，具體構建方法如下：

步驟2.1第一層為輸入層；

步驟2.2第二層為卷積層，使用64個大小為2*2的卷積濾波器，以2個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.3第三層為最大池化層，使用大小為2*2的濾波器，以2個像素為步長進行卷積最大池化操作；

步驟2.4第四層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.5第五層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.6第六層為串聯層，將步驟2.3和步驟2.5所獲得的特征圖相連接；

步驟2.7第七層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.8第八層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.9第九層為串聯層，將步驟2.6和步驟2.8所獲得的特征圖相連接；

步驟2.10第十層為最大池化層，使用大小為2*2的濾波器，以2個像素為步長進行卷最大池化操作；

步驟2.11第十一層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.12第十二層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.13第十三層為串聯層，將步驟2.10和步驟2.12所獲得的特征圖相連接；

步驟2.14第十四層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.15第十五層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.16第十六層為串聯層，將步驟2.13和步驟2.15所獲得的特征圖相連接；

步驟2.17第十七層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.18第十八層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.19第十九層為串聯層，將步驟2.16和步驟2.18所獲得的特征圖相連接；

步驟2.20第二十層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.21第二十一層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.22第二十二層為串聯層，將步驟2.19和步驟2.21所獲得的特征圖相連接；

步驟2.23第二十三層為最大池化層，使用大小為2*2的濾波器，以2個像素為步長進行卷積最大池化操作；

步驟2.24第二十四層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.25第二十五層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.26第二十六層為串聯層，將步驟2.23和步驟2.25所獲得的特征圖相連接；

步驟2.27第二十七層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.28第二十八層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.29第二十九層為串聯層，將步驟2.16和步驟2.28所獲得的特征圖相連接；

步驟2.30第三十層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.31第三十一層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數。

步驟2.32第三十二層為串聯層，將步驟2.29和步驟2.31所獲得的特征圖相連接；

步驟2.33第三十三層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.34第三十四層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.35第三十五層為串聯層，將步驟2.32和步驟2.34所獲得的特征圖相連接；

步驟2.36第三十六層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.37第三十七層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.38第三十八層為串聯層，將步驟2.35和步驟2.37所獲得的特征圖相連接；

步驟2.39第三十九層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.40第四十層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數。

步驟2.41第四十一層為串聯層，將步驟2.38和步驟2.40所獲得的特征圖相連接；

步驟2.42第四十二層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.43第四十三層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.44第四十四層為串聯層，將步驟2.41和步驟2.43所獲得的特征圖相連接；

步驟2.45第四十五層為卷積層，使用128個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.46第四十六層為卷積層，使用32個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數。

步驟2.47第四十七層為串聯層，將步驟2.44和步驟2.46所獲得的特征圖相連接；

步驟2.48第四十八層為串聯層，將步驟2.23和步驟2.47所獲得的特征圖相連接；

步驟2.49第四十九層為卷積層，使用256個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.50第五十層為卷積層，使用256個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.51第五十一層為轉置卷積層，以2個像素為步長進行上卷積運算，并在其后使用修正線性單元作為其激活函數；

步驟2.52第五十二層為串聯層，將步驟2.10和步驟2.51所獲得的特征圖相連接；

步驟2.53第五十三層為卷積層，使用128個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.54第五十四層為卷積層，使用128個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.55第五十五層為轉置卷積層，以2個像素為步長進行上卷積運算，并在其后使用修正線性單元作為其激活函數；

步驟2.56第五十六層為串聯層，將步驟2.3和步驟2.55所獲得的特征圖相連接；

步驟2.57第五十七層為卷積層，使用64個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.58第五十八層為卷積層，使用64個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.59第五十九層為轉置卷積層，以2個像素為步長進行上卷積運算，并在其后使用修正線性單元作為其激活函數；

步驟2.60第六十層為串聯層，將步驟2.2和步驟2.59所獲得的特征圖相連接；

步驟2.61第六十一層為卷積層，使用32個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.62第六十二層為卷積層，使用32個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數；

步驟2.63第六十三層為轉置卷積層，以2個像素為步長進行上卷積運算，并在其后使用修正線性單元作為其激活函數；

步驟2.64第六十四層為卷積層，使用32個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數。

步驟2.65第六十五層為卷積層，使用32個大小為3*3的卷積濾波器，以1個像素為步長、1個像素為填充進行卷積運算，并在其后使用批量歸一化和修正線性單元作為其激活函數。

步驟2.66第六十六層為卷積層，使用3個大小為1*1的卷積濾波器，以1個像素為步長進行卷積運算；

步驟2.67第六十七層為輸出層；

步驟2.2：訓練雙路徑深度網絡模型

將步驟1獲得的數據集輸入到步驟2.1構建的雙路徑深度學習模型中進行訓練，訓練網絡初始設置的學習率為1*10^-4，之后，學習率在每訓練5次后被除以10；

步驟2.3：優化所訓練的雙路徑深度網絡模型

對訓練后雙路徑深度網絡模型采用形態學操作，利用腐蝕操作去除超過腫瘤覆蓋區域面積的孤立性錯誤點，然后進行膨脹操作保持提取到的腫瘤邊緣特征光滑連續，即得到訓練好的模型。