[發(fā)明專利]基于圖神經(jīng)網(wǎng)絡的多圖片輸入的多標簽胃鏡圖片分類方法

在審

• 申請?zhí)枺?/td>: 202110146691.6
• 申請日: 2021-02-03
• 公開（公告）號: CN112786160A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設計）人: 李壽山;俞旸;鮑小異;張棟;周國棟
• 申請（專利權）人: 紫東信息科技（蘇州）有限公司
• 主分類號: G16H30/20
• 分類號: G16H30/20;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 蘇州謹和知識產(chǎn)權代理事務所(特殊普通合伙) 32295
• 代理人: 徐磊

本申請涉及一種基于圖神經(jīng)網(wǎng)絡的多圖片輸入的多標簽胃鏡圖片分類方法，屬于醫(yī)學圖像智能處理技術領域，該方法包括：對樣本數(shù)據(jù)中的多張胃鏡圖片進行預處理，得到預處理后的胃鏡圖片；獲取整體標簽結果之間的共現(xiàn)矩陣；將預處理后的胃鏡圖片和共現(xiàn)矩陣輸入預設的網(wǎng)絡模型進行訓練，得到分類模型，以對輸入的至少一張圖片進行分類；該網(wǎng)絡模型中的BiT?ResNet用于提取預處理后的胃鏡圖片的圖像特征；Attention層用于計算圖像特征中各部分的權重，得到更新后的圖像特征；圖神經(jīng)網(wǎng)絡用于根據(jù)共現(xiàn)矩陣輸出網(wǎng)絡結果，網(wǎng)絡結果和更新后的圖像特征用于生成分類結果；相較于使用多個單圖片單標簽圖片分類方法，能獲得更好的分類效果。

【技術領域】

本申請涉及一種基于圖神經(jīng)網(wǎng)絡的多圖片輸入的多標簽胃鏡圖片分類方法，屬于醫(yī)學圖像智能處理技術領域。

【背景技術】

隨著云服務、大數(shù)據(jù)、人工智能等新技術的發(fā)展以及應用，深度學習網(wǎng)絡逐漸被應用到圖片分類、圖片識別領域。深度學習網(wǎng)絡與醫(yī)療結合，輔助醫(yī)生診療也成了一個熱門研究領域。

現(xiàn)有的圖像識別通常用來判斷單張圖片是否屬于某個標簽類別。

然而，真實世界中，一張圖片可能包含多個物體，一次需要判斷的也不止一張圖片。比如一次胃鏡檢查，就對應著多張胃鏡圖片的輸入和多項疾病標簽的輸出?，F(xiàn)有的圖像識別技術可以應用于該問題，但會忽略標簽間的關系，也無法很好地找到多張圖片中的重點，進而影響了圖像分類的性能。

【發(fā)明內(nèi)容】

本申請?zhí)峁┝艘环N基于圖神經(jīng)網(wǎng)絡的多圖片輸入的多標簽胃鏡圖片分類方法，可以充分捕捉圖片間的重點和標簽間的聯(lián)系，提升胃鏡檢查樣本自動識別的準確率。本申請?zhí)峁┤缦录夹g方案：

獲取多組樣本數(shù)據(jù)，每組樣本數(shù)據(jù)包括多張胃鏡圖片和所述多張胃鏡圖片對應的整體標簽結果；

對所述多張胃鏡圖片進行預處理，得到預處理后的胃鏡圖片；

獲取所述整體標簽結果之間的共現(xiàn)矩陣；

將所述預處理后的胃鏡圖片和所述共現(xiàn)矩陣輸入預設的網(wǎng)絡模型，并使用預設的損失函數(shù)和所述整體標簽結果對所述網(wǎng)絡模型進行訓練，得到分類模型，所述分類模型用于對輸入的至少一張圖片進行分類；

其中，預設的網(wǎng)絡模型包括BiT-ResNet、與所述BiT-ResNet相連的注意力Attention層、以及與所述Attention層相連的圖神經(jīng)網(wǎng)絡；所述BiT-ResNet用于提取所述預處理后的胃鏡圖片的圖像特征；所述Attention層用于計算所述圖像特征中各部分的權重，得到更新后的圖像特征；所述圖神經(jīng)網(wǎng)絡用于根據(jù)所述共現(xiàn)矩陣輸出網(wǎng)絡結果，所述網(wǎng)絡結果和所述更新后的圖像特征用于生成分類結果。

可選地，所述對所述多張胃鏡圖片進行預處理，得到預處理后的胃鏡圖片，包括：

對所述多張胃鏡圖片進行縮放，得到多張預設尺寸的圖片；

將多張預設尺寸的圖片進行拼接；

對拼接后的得到圖片數(shù)據(jù)進行標準化，得到所述預處理后的胃鏡圖片。

可選地，所述將所述預處理后的胃鏡圖片和所述共現(xiàn)矩陣輸入預設的網(wǎng)絡模型，并使用預設的損失函數(shù)和所述整體標簽結果對所述網(wǎng)絡模型進行訓練，得到分類模型之前，還包括：

通過BiT-ResNet預訓練模型初始化參數(shù)。

可選地，所述預設的網(wǎng)絡模型還用于，將所述網(wǎng)絡結果作為分類器向量與所述更新后的圖像特征相乘，得到圖片分類的概率；按照所述圖片分類的概率得到所述分類結果。

可選地，將所述網(wǎng)絡結果作為分類器向量與所述更新后的圖像特征相乘，通過sigmoid函數(shù)激活得到圖片分類的概率。

可選地，所述預設的損失函數(shù)通過下式表示：