[發明專利]基于多模態注意力模型的宮頸非典型病變診斷模型和裝置

有效

• 申請號: 201811276300.7
• 申請日: 2018-10-30
• 公開（公告）號: CN109543719B
• 公開（公告）日: 2020-09-08
• 發明（設計）人: 吳健;劉雪晨;馬鑫軍;陳婷婷;王文哲;陸逸飛;呂衛國;袁春女;姚曄儷;王新宇;吳福理
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G16H50/50
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于多模態注意力模型的宮頸非典型病變診斷裝置，以宮頸樣本對應的醋酸圖和碘圖作為輸入，以該醋酸圖和碘圖產生非典型病變的概率作為輸出，其特征在于，所述宮頸非典型病變診斷裝置通過以下步驟獲得：

1)對于同一宮頸樣本的醋酸圖和碘圖，以宮頸樣本對應的狀態類型作為標簽，形成訓練數據；

2)依次對醋酸圖和碘圖進行數據增強和數據歸一化處理；

3)使用兩個ResNet-50網絡作為第一網絡模型和第二網絡模型，將經步驟2)處理后的醋酸圖和碘圖分別輸入第一網絡模型和第二網絡模型中，輸出預測類別，并計算兩個網絡模型的Loss，選用Loss較小的網絡模型作為掩碼通道，另一個網絡模型作為主通道；

4)針對作為掩碼通道的ResNet-50網絡中的每一層，將掩碼通道中的特征圖通過掩碼生成模塊生成主通道的注意力掩碼圖，與對應的主通道中的特征圖進行融合，并傳入主通道下一層，直至輸出分類結果；

5)計算掩碼通道和主通道分類結果的總體損失，并根據總體損失使用隨機梯度下降法優化模型，直至收斂，訓練好的第一網絡模型、第二網絡模型和掩碼生成模塊構成宮頸非典型病變診斷裝置。

2.根據權利要求1所述的宮頸非典型病變診斷裝置，其特征在于，步驟2)中，對醋酸圖和碘圖進行數據增強的步驟為：

將醋酸圖和碘圖的原始圖像隨機翻轉后加入訓練集；

隨機對訓練集中的圖像進行裁剪，獲得不同大小的圖像塊；

對圖像塊進行隨機亮度調整、隨機鏡像翻轉和隨機顏色增強后，再將圖像塊縮放到512×512尺寸。

3.根據權利要求2所述的宮頸非典型病變診斷裝置，其特征在于，所述步驟2)中，對經過數據增強處理后的醋酸圖和碘圖進行數據歸一化處理的方法為：

針對醋酸圖和碘圖中512×512大小的圖像塊，每個像素減去像素的平均值后除以標準差，使圖像數據中心化。

4.根據權利要求1所述的宮頸非典型病變診斷裝置，其特征在于，步驟4)中，所述注意力掩碼圖的生成方法為：

4-1)對于掩碼通道中的每個特征圖C_i’，使用1×1卷積操作，將特征通道維度降到256；

4-2)將降維后的特征圖傳入卷積層，提取圖像的全局特征；

4-3)使特征圖通過若干個殘差模塊，增加感受野大小，從而提取更富的語義特征；

4-5)再次使用1×1卷積操作，使特征通道維度恢復到原始尺寸，形成注意力掩碼圖；

4-6)使用Sigmoid層將輸出范圍變為[0，1]。

5.根據權利要求4所述的宮頸非典型病變診斷裝置，其特征在于，步驟4)中，生成的注意力掩碼圖與相應的主通道中的特征圖進行融合的融合公式為：

A_i(x)＝(1+P_i)×C_i(x)

其中，A_i為融合后的特征圖像，P_i為注意力掩碼圖，C_i為主通道中的特征圖。

6.根據權利要求1所述的宮頸非典型病變診斷裝置，其特征在于，步驟5)中，掩碼通道和主通道分類結果的總體損失的計算公式為：

L＝(1-λ)L_m+λL_p

其中，L_m和L_p分別代表掩碼通道和主通道的損失，λ為0.5～1的可調參數。

7.根據權利要求6所述的宮頸非典型病變診斷裝置，其特征在于，所述的λ取值為0.75。