[發明專利]一種基于Vision Transformer的翼狀胬肉病灶區域的分割方法

在審

• 申請號: 202310254245.6
• 申請日: 2023-03-11
• 公開（公告）號: CN116310335A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 朱紹軍;方新聞;鄭博;吳茂念;楊衛華
• 申請（專利權）人: 湖州師范學院
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/80;G06V10/82;G06T7/11;G06T7/13;G06T7/00;G06N3/0464;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于Vision?Transformer的翼狀胬肉病灶區域的分割方法，所述分割方法包括采集模塊、語義分割網絡模塊和訓練模塊，利用數據采集模塊、語義分割網絡模塊和訓練模塊對患病眼前節圖像進行分割處理，其特征是，具體為以下步驟：

(1)所述的患病眼前節圖像構成一組翼狀胬肉分割數據集，所述翼狀胬肉分割數據集作為原始數據樣本，所述數據采集模塊對所述的原始數據樣本中的圖像進行預處理操作，以保證圖像的長和高相同，形成一組訓練集圖像；

(2)利用所述語義分割網絡模塊對所述訓練集圖像進行分割，所述語義分割網絡模塊包括Vision?Transformer網絡和卷積網絡；所述Vision?Transformer網絡利用一種圖像分塊方法對所述訓練集圖像進行處理，通過疊加多層的多頭注意力機制獲得一種圖像塊關聯關系，進而取得圖像注意力圖；所述卷積網絡通過一種多層的卷積操作取得圖像特征圖；所述圖像注意力圖和圖像特征圖通過矩陣加法運算得到所述圖像特征圖，通過一種金字塔池化方法獲得翼狀胬肉分割圖；

(3)利用訓練模塊對分割模型進行訓練，將所述翼狀胬肉分割數據集輸入所述語義分割網絡模塊進行訓練，訓練時通過設置學習率、損失函數方法、學習迭代周期調整模型參數，最終形成翼狀胬肉病灶區域分割模型；

所述的預處理操作為：

本發明方法要求的輸入圖像尺寸為M×N×3，M和N為正整數，原始圖像尺寸為H×W，H和W為正整數，先將圖像進行縮放為M×((N/H)×W)，再將較短的邊兩邊平均補上灰邊將其尺寸轉換為M×N；

所述的圖像分塊方法為：

先通過上采樣操作將M×N×3大小的圖像上采樣為M’×N’×3，將M’×N’×3的圖像輸入到Vision?Transformer，將輸入圖片劃分成(M’/Patch)×(N’/Patch)個Patch×Patch大小的圖像塊后，并在每個所述圖像塊上添加大小為1×((M’/Patch)×(N’/Patch))×(3×Patch×Patch)可訓練的位置信息參數；

所述的多頭注意力機制為：

以所述圖像塊為單位輸入多頭注意力機制，通過矩陣運算計算出各圖像塊之間的關系并生成新的((M’/Patch)×(N’/Patch))×(3×Patch×Patch)大小的圖像特征，循環12-16次所述多頭注意力機制；

將所述多頭注意力機制中生成的圖像特征經過一種變換操作獲得所述圖像注意力圖，通過連接一個卷積核大小為3×3的卷積模塊獲得大小為2048×30×30圖像注意力圖；

所述的卷積網絡為：

采用ResNet50模型在公開數據集ImageNet上預訓練后獲得的參數作為所述卷積網絡的初始化參數，經過4層大小結構不同的卷積模塊，提取出所述圖像特征圖；

所述的金字塔池化方法如下：

將所述圖像注意力圖和圖像特征圖通過矩陣加法運算得到新的圖像特征圖，輸入到金字塔池化模塊中，先通過卷積操作將所述圖像特征圖維度轉換為其維度的1/4；再利用4種不同大小的池化塊分別進行池化操作得到圖像特征圖a、圖像特征圖b、圖像特征圖c、圖像特征圖d；最后將所述圖像特征圖a、圖像特征圖b、圖像特征圖c、圖像特征圖d上采樣后與新的圖像特征圖進行堆疊得到圖像特征圖(e)；

將所述圖像特征圖a、圖像特征圖b、圖像特征圖c、圖像特征圖d輸入階段上采樣模塊，通過上采樣和特征融合操作獲得圖像特征圖，并與所述圖像特征圖(e)進行堆疊得到全新的圖像特征圖(f)，最后通過對所述圖像特征圖(f)進行卷積操作得到語義分割圖像。

2.根據權利要求1所述的分割方法，其特征是，

所述損失函數包括交叉熵損失函數和Dice?Loss損失函數，將所述交叉熵損失函數和Dice?Loss損失函數融合作為所述語義分割網絡模型的損失函數，最小化如下目標函數：

Loss＝Cross?Entropy?Loss+Dice?Loss

其中，Cross?Entropy?Loss表示交叉熵損失函數，Dice?Loss表示Dice?Loss損失函數。

3.根據權利要求1所述的分割方法，其特征是，

所述學習迭代周期為80個周期，為加快訓練速度和防止在訓練初期權值被破壞，0-40周期采用凍結訓練，40-80正常訓練，所述學習率為1e-5。