[發明專利]基于圖神經網絡的多圖片輸入的多標簽胃鏡圖片分類方法

在審

• 申請號: 202110146691.6
• 申請日: 2021-02-03
• 公開（公告）號: CN112786160A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 李壽山;俞旸;鮑小異;張棟;周國棟
• 申請（專利權）人: 紫東信息科技（蘇州）有限公司
• 主分類號: G16H30/20
• 分類號: G16H30/20;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 蘇州謹和知識產權代理事務所(特殊普通合伙) 32295
• 代理人: 徐磊

1.一種基于圖神經網絡的多圖片輸入的多標簽胃鏡圖片分類方法，其特征在于，所述方法包括：

獲取多組樣本數據，每組樣本數據包括多張胃鏡圖片和所述多張胃鏡圖片對應的整體標簽結果；

對所述多張胃鏡圖片進行預處理，得到預處理后的胃鏡圖片；

獲取所述整體標簽結果之間的共現矩陣；

將所述預處理后的胃鏡圖片和所述共現矩陣輸入預設的網絡模型，并使用預設的損失函數和所述整體標簽結果對所述網絡模型進行訓練，得到分類模型，所述分類模型用于對輸入的至少一張圖片進行分類；

其中，預設的網絡模型包括BiT-ResNet、與所述BiT-ResNet相連的注意力Attention層、以及與所述Attention層相連的圖神經網絡；所述BiT-ResNet用于提取所述預處理后的胃鏡圖片的圖像特征；所述Attention層用于計算所述圖像特征中各部分的權重，得到更新后的圖像特征；所述圖神經網絡用于根據所述共現矩陣輸出網絡結果，所述網絡結果和所述更新后的圖像特征用于生成分類結果。

2.根據權利要求1所述的方法，其特征在于，所述對所述多張胃鏡圖片進行預處理，得到預處理后的胃鏡圖片，包括：

對所述多張胃鏡圖片進行縮放，得到多張預設尺寸的圖片；

將多張預設尺寸的圖片進行拼接；

對拼接后的得到圖片數據進行標準化，得到所述預處理后的胃鏡圖片。

3.根據權利要求1所述的方法，其特征在于，所述將所述預處理后的胃鏡圖片和所述共現矩陣輸入預設的網絡模型，并使用預設的損失函數和所述整體標簽結果對所述網絡模型進行訓練，得到分類模型之前，還包括：

通過BiT-ResNet預訓練模型初始化參數。

4.根據權利要求1所述的方法，其特征在于，所述預設的網絡模型還用于，將所述網絡結果作為分類器向量與所述更新后的圖像特征相乘，得到圖片分類的概率；按照所述圖片分類的概率得到所述分類結果。

5.根據權利要求4所述的方法，其特征在于，將所述網絡結果作為分類器向量與所述更新后的圖像特征相乘，通過sigmoid函數激活得到圖片分類的概率。

6.根據權利要求1所述的方法，其特征在于，所述預設的損失函數通過下式表示：

其中，y_i是該樣本i的真實標簽分布，x_i是模型對樣本i的預測標簽分布。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在訓練得到所述分類模型后，使用測試集對所述分類模型進行測試，以確定所述分類模型的性能。

8.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在使用所述分類模型時，將多張待分類的胃鏡圖像進行預處理；

將預處理后的胃鏡圖像輸入所述分類模型，得到所述多張待分類的胃鏡圖像的整體分類結果。

9.根據權利要求1所述的方法，其特征在于，所述整體標簽結果包括以下幾種中的一種或多種：健康胃、胃息肉、胃潰瘍、胃癌、胃炎以及膽汁反流。