[發明專利]一種基于由粗到細密集編解碼網絡的顳骨內耳骨腔結構自動分割方法

在審

• 申請號: 202110045206.6
• 申請日: 2021-01-14
• 公開（公告）號: CN112634293A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 李曉光;伏鵬;朱梓垚;卓力;張輝
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種由粗到細的密集網絡進行顳骨內耳骨腔結構的自動分割方法，其特征在于，整體分為3個階段：基于粗分割的顳骨內耳骨腔結構粗定位、顳骨內耳骨腔結構候選區域提取和顳骨內耳骨腔結構精細分割階段；

具體包括以下步驟：

1)基于粗分割的顳骨內耳骨腔結構粗定位階段：

第一步：對顳骨內耳骨腔結構進行粗略分割；在粗分割模型訓練階段，在一例完整的顳骨CT影像數據和標注文件內的相同位置隨機抽取48×48×48的立方體，如果該立方體內包含目標結構的標注，則對抽取后的顳骨CT影像立方體HU值截斷處理，將HU值小于T_min的值設置為T_min，HU值大于T_max的設置為T_max，其中，T_min和T_max的取值范圍在最低HU值到最高HU值之間，在顳骨CT中，空氣HU值為-1024，骨質的HU值在300以上，將數據截斷到最低-1024，最高截斷至2000或以上即可完整的保留顳骨區域用于進一步顳骨分析，并將截斷后的HU值歸一化到均值為0，方差為1的數據分布，送入粗分割網絡進行訓練，否則重新抽取同尺寸立方體，直到該范圍內抽取到含有解剖結構的標注；

第二步：將完整的顳骨CT影像數據按照重疊滑動窗口的方式，按照順序切分為多組切塊，依次送入訓練好的粗分割網絡進行分割，并按輸入順序將分割結果疊加恢復至與完整的顳骨CT尺寸一致；選取重疊率為2，對輸入的完整顳骨CT影像數據分為多組重疊切塊輸入分割網絡預測；

第三步：根據各結構體素級標注，采用絕對中位差法去除粗分割中產生的離群點；設絕對中位差計算如公式(1)所示：

MAD＝median(|X_i-median(X)|) (1)

其中，X是所有被預測為前景點的點集，X_i∈X，是點集X中的第i個點，median(·)為對點集計算中位數，絕對中位差算法過程如下：

(1)計算所有預測前景點坐標的中位數median(X)；

(2)計算每個預測前景點與中位數的絕對偏差值abs(X_i-median(X))；

(3)計算(2)中的絕對偏差值的中位數MAD；

(4)將(2)中的值除以(3)的值，得到一組基于MAD的所有預測前景點距離中心的距離Dis；計算公式如式(2)：

(5)將x、y、z三個維度上最大Dis值大于閾值Th的點作為異常點去除；采用3.5作為篩選閾值，去除遠離目標區域的離群點；

2)顳骨關鍵解剖結構候選區域提取階段：

第一步，統計顳骨內耳骨腔結構候選區域提取尺寸；基于統計體素級標注數據，統計顳骨內耳骨腔結構所有標注體素點在x、y、z三個維度上的最大值和最小值，以x、y、z最大值與x、y、z最小值之間的差值初步計算解剖結構的體素坐標跨度，根據每例CT的像素間距和層間距，計算每例CT內耳骨腔結構對應的實際物理包圍框尺寸，將每個結構實際物理尺寸最大值向外擴延至24mm×24mm×24mm，以層間距、像素間距為0.5mm的顳骨CT取48×48×48的立方體，即可在保證完整包圍目標分割結構的同時滿足分割算法的輸入，作為候選區域的提取尺寸；

第二步，結合待分割解剖結構粗定位中心點和解剖結構先驗包圍框尺寸信息，提取感興趣區域；感興趣區域通過區域中心點和三維尺寸描述，其中，以第一階段預測的顳骨待分割關鍵解剖結構的中心點為中心，向外擴延提取立方體數據，立方體三維尺寸按照第一步統計計算的顳骨各個待分割解剖結構對應的包圍框尺寸，以提取后的子區域作為進一步精確分割的候選區域，并對提取子區域位置進行記錄；

3)顳骨內耳骨腔結構精細分割階段：

該精細分割階段具體包括編碼和解碼兩個過程；

a)編碼階段

第一步：數據截斷和歸一化；將第2)階段提取的顳骨內耳骨腔結構候選區域48×48×48體素長度子區域送入精準分割算法；將CT影像數據的子區域CT值按照顳骨CT的HU值分布范圍進行數據截斷，對于顳骨CT而言，可將小于T_min的值截斷至T_min，大于T_max的值截斷至T_max，T_min與T_max的選取和第一階段基于粗分割的顳骨內耳骨腔結構粗定位取值一致，并進行歸一化為均值為0，方差為1的數據分布；

第二步：采用帶有空洞卷積的密集連接網絡提取特征；將第一步數據截斷和歸一化后的48×48×48完整包含待分割顳骨內耳骨腔結構的子區域送入網絡；編碼階段共設計了3組密集連接模塊；該模塊由批歸一化-修正線性單元-卷積層、拼接和瓶頸層三部分組成，其中，密集連接模塊所有卷積尺寸為3×3×3；密集連接塊中的批歸一化-修正線性單元-卷積層是由批歸一化、修正線性單元和卷積層三個操作組成；拼接是將特征圖在通道層面進行級聯；瓶頸層的作用是減少密集連接塊輸出的特征圖數量；在第三組密集連接模塊中，采用了空洞卷積模塊；

第三步：多池化特征融合；在每一層級的密集連接模塊輸出之后采用批歸一化-修正激活單元-卷積層，為了防止過擬合，在此后通常采用Dropout層，Dropout率設置為0.5，在其之后同時采用3D最大池化和3D平均池化，將池化之后的結果做一個拼接；

b)解碼階段

第一步：采用轉置卷積和密集連接模塊進行特征的上采樣；在解碼過程中，采用帶有密集連接模塊的轉置卷積，進行語義信息的解碼；對編碼階段最后一層尺寸為12×12×12的張量特征數據，采用兩次轉置卷積進行上采樣，將張量特征數據恢復至原始輸入的48×48×48尺寸；在解碼階段的兩次轉置卷積后面，將密集連接塊代替普通卷積層；

第二步：3D深監督機制；在編碼階段，第一個密集連接網絡塊輸出的特征采用64個卷積核提取特征，之后先經過一個1×1×1的卷積，緊接其后的是一個softmax層，輸出輔助分割結果；解碼階段的第二層對拼接后的特征進行卷積操作進一步提取特征，將得到的特征先經過轉置卷積提升分辨率，然后經過采用1×1×1卷積核的softmax層，得到第二個輔助分割結果；解碼階段最后一層對拼接后的特征經過包含不同卷積核的卷積操作之后輸出主干網絡的預測結果；在網絡訓練的過程中主干網絡的損失函數與分支網絡的損失時函數共同構成聯合目標函數，包含Coefficient(DSC)損失函數和交叉熵損失函數；DSC損失函數定義如公式(3)所示：

其中X和Y分別表示預測體素與真實目標體素，n表示待分割目標的類別數，x_i與y_i分別表示預測體素數據與真實目標體素數據中包含的目標標記體素的數量；為交叉熵損失函數引入權重記為W，如公式(4)所示：

其中N_k表示待分割體素數據中目標體素標記的數量，N_c表示待分割體素數據中全部體素的數量；交叉熵損失函數如公式(5)所示：

基于上面定義的損失函數構建聯合目標函數如公式(6)所示：

其中m為受監督的隱藏層的個數，λ_1k和λ_2k為第k個受監督的隱藏層損失函數的超參數，m為2，超參數λ_1k和λ_2k分別取值0.6和0.3，L_k和H_k分別為第k個受監督的隱藏層DSC損失函數和交叉熵損失函數；基于主干網絡和分支網絡的損失函數構建目標損失函數共同指導網絡訓練，減輕梯度消失，加快網絡的收斂速度；

第三步：采用精準分割算法預測分辨率為48×48×48的分割結果，按照第2)階段記錄的候選區域提取位置，還原至在完整CT中的對應位置，作為最終分割結果。