[發明專利]一種基于多尺度紋理特征融合宮頸OCT圖像分類方法及系統

有效

• 申請號: 202011343939.X
• 申請日: 2020-11-25
• 公開（公告）號: CN112418329B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 馬于濤;豆宛榮
• 申請（專利權）人: 武漢大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/774;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 王丹

1.一種基于多尺度紋理特征融合宮頸OCT圖像分類方法，其特征在于：本方法包括以下步驟：

S1、數據集劃分：

將獲取的宮頸組織3D OCT影像劃分為訓練集和測試集；其中，宮頸組織3D OCT影像根據所屬對象分為不同的組，每組3D OCT影像屬于同一個對象，每組3D OCT影像具有對應的2D OCT圖像，并且同一組3D OCT影像中的所有2D OCT圖像只存在于訓練集或測試集的一個集合中；

S2、構建OCT圖像分類模型：

采用卷積神經網絡作為骨干網絡，構建OCT圖像分類模型，然后融合多尺度特征編碼模塊和特征融合模塊，最后通過全連接層和SoftMax層分類輸出；其中，卷積神經網絡從訓練集的2DOCT圖像中提取若干尺度卷積層的特征圖；多尺度特征編碼模塊用于對每個尺度對應一個分支進行處理，每個分支使用可學習殘差編碼層對所述特征圖進行編碼，并獲得對應尺度的紋理特征；特征融合模塊用于計算每個尺度的紋理特征中紋理基元的權重，將權重融合對應尺度的紋理特征，獲得相應更新后的紋理特征；

S3、訓練OCT圖像分類模型：

采用深度監督機制對所述多尺度特征編碼模塊中的每個分支均添加分支分類器，并設置相應的損失函數，調整訓練集中2D OCT圖像的大小后輸入OCT圖像分類模型進行訓練，得到訓練好的OCT圖像分類模型；

S4、測試OCT圖像分類模型：

利用訓練好的OCT圖像分類模型，對測試集中的2D OCT圖像進行分類預測，得到分類結果；

S5、統計預測結果：

統計同一組3D OCT影像中2D OCT圖像的預測結果，設定其類別；

所述的S2具體為：

S2.1、利用卷積神經網絡作為分類模型的骨干網絡，提取若干度卷積層的特征圖；

S2.2、在骨干網絡后加入多尺度特征編碼模塊，使用可學習殘差編碼層對提取的特征圖進行編碼，獲得每個尺度的紋理特征；

S2.3、在多尺度特征編碼模塊后加入特征融合模塊，用于計算每個尺度的紋理特征的權重，將權重融合對應尺度的紋理特征，獲得相應更新后的紋理特征；

S2.4、在上述特征融合模塊后增加兩個全連接層用來分類；

S2.5、最后設置一個SoftMax層，用于輸出預測結果；

所述的多尺度特征編碼模塊有4個分支，分別對應4個尺度，每個分支均包括卷積層和可學習殘差編碼層，所述的S2.2具體包括：

S2.2.1、利用1×1卷積操作對各尺度的原始特征圖進行信息融合和降維，得到通道數為128的各尺度特征圖；

S2.2.2、通過可學習殘差編碼層將各尺度特征圖進行編碼，提取各尺度特征的原始紋理基元編碼特征，每個尺度生成由32個128維紋理基元編碼的32×128維特征圖，構成該尺度的紋理特征；

所述的特征融合模塊包括級聯、全局平均池化層、兩個全連接層和激活層，S2.3具體包括：

S2.3.1、將4個尺度的紋理特征級聯，獲得初步融合的由128個128維紋理基元編碼的128×128維特征圖；

S2.3.2、利用全局平均池化層對初步融合的紋理特征進行全局平均池化，然后進行扁平化處理，得到128維的特征向量；

S2.3.3、通過兩個全連接層將扁平化處理得到的特征向量先壓縮后激發，其中，第一層含有8個神經元，用于對特征進行壓縮，第二層含有128個神經元，用于對特征進行激發；

S2.3.4、通過激活函數sigmoid，將激發后的特征映射到0-1區間，作為紋理基元的權重；

S2.3.5、將得到的紋理基元的權重與原始紋理基元編碼特征相乘，獲得相應的更新紋理基元注意力后的紋理特征。

2.根據權利要求1所述的方法，其特征在于：所述的S3具體包括：

S3.1、將訓練集中的2D OCT圖像，調整為與骨干網絡相適應的像素大?。?/p>

S3.2、將調整后的2D OCT圖像做歸一化處理；

S3.3、利用歸一化處理后的2D OCT圖像訓練所述OCT圖像分類模型；其中，初始化采用加載經ImageNet預訓練的CNN模型參數，采用深度監督機制設置損失函數，對多尺度特征編碼模塊中的每個分支添加分支分類器及相應的損失函數，最終的損失函數為每個分支的損失函數和主損失函數求和，并更新所述OCT圖像分類模型的參數；

S3.4：當訓練集和測試集的損失函數收斂時，得到訓練好的OCT圖像分類模型，保存相關參數值。