[發明專利]基于貝葉斯輔助學習的WSI圖像分類方法、系統及介質

有效

• 申請號: 202210895166.9
• 申請日: 2022-07-28
• 公開（公告）號: CN114972341B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 余晉剛;吳梓浩;吳錦全
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06T7/00;G06N7/00;G06T7/136;G06V10/26;G06V10/44;G06V10/764
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于貝葉斯輔助學習的WSI圖像分類方法、系統及介質，方法為：獲取WSI圖像并進行閾值分割，得到病理圖像塊集；基于貝葉斯決策理論構建WSI分類模型，所述WSI分類模型包括圖像塊特征提取器、圖像塊分類器和特征融合及分類模塊；初始化WSI分類模型，在病理圖像塊集上使用EM法迭代訓練WSI分類模型，得到訓練好的WSI分類模型；將待診斷WSI圖像輸入訓練好的WSI分類模型，輸出待診斷WSI圖像的類別標簽。本發明基于貝葉斯決策理論構建WSI分類模型，通過引入圖像塊分類器進行輔助學習任務，充分提取WSI圖像中的信息，同時使用EM法在迭代訓練過程中進行動態學習，提高WSI分類性能及模型魯棒性。

技術領域

本發明屬于數字病理全切片圖像分類的技術領域，具體涉及一種基于貝葉斯輔助學習的WSI圖像分類方法、系統及介質。

背景技術

病理診斷被公認為是臨床癌癥診斷的金標準，對癌癥患者治療方案的制定以及預后都有著重要的意義。傳統方法中，病理醫生通過借助顯微鏡，拖動、放大觀察病理玻片的不同位置來進行病理診斷；診斷流程繁瑣且主觀性較強，而且不同醫生對疑難病例給出的診斷結果一致性差。隨著玻片數字化掃描技術的進步，數字病理全切片圖像（WSI）越來越容易獲取，設計針對數字病理圖像的自動化、智能化計算機輔助診斷方法也受到廣泛關注。然而，數字病理全切片圖像分類診斷仍面臨著一些技術難點，制約著輔助診斷方法的應用：1)WSI有著超高分辨率，如100,000x100,000像素，采用普通的深度學習方法難以直接處理，因此，一般是將WSI切分為許多的小圖像塊（patch），再基于patch對WSI進行分類診斷，但由于WSI有著超高分辨率，將WSI切分為patch數量非常多，平均每張WSI有8000至15000個patch；進行網絡訓練時需要存儲大量的中間特征圖，容易造成顯存溢出，故在只具有WSI整體類別標簽的情況下，無法使用所有patch對特征提取器和融合模型進行端到端訓練；2)WSI的精細像素級標注獲取困難，往往只能得到整體的類別標簽，無法知道每個patch對應的標簽信息；3)WSI圖像中細胞形態、結構、紋理變化豐富，圖像有著高度異質性，與其它醫學圖像數據相比，WSI數據量往往比較少，容易造成深度學習模型過擬合現象。

針對上述問題， Lu.M.Y等人提出的CLAM方法，利用ImageNet數據集預訓練的ResNet-50網絡提取patch特征，然后通過這些patch特征學習基于注意力機制的融合模塊，最終實現對WSI的分類；但是該方法訓練特征提取器與融合模型的過程是完全割裂的，不利于分類器學習到有益于判別WSI不同類別的特征信息，不能充分耦合以提高WSI分類的性能，因此WSI的分類性能最終受到patch特征質量的限制。基于最大池化的多示例學習方法則從所有patch中選出預測分數最高的一個用來表示WSI圖像，并用該patch訓練整個網絡，這種方法雖然能同時訓練特征提取器和融合模型；但是只能通過少量的patch來進行訓練，其中損失了大量WSI圖像中的信息，造成模型的穩定性較差、噪聲多，整體性能好壞依賴聚類等挑選策略，不利于學習到高質量的特征提取器。L.Hou等人在文獻《Patch-basedconvolutional neural network for whole slide tissue image classification》中提出了一種利用EM算法更新patch分類器的方法，假設WSI中所有的patch類別標簽與WSI整體標簽一致，然后訓練一個patch級別的分類器，即patch特征提取器，通過該分類器產生WSI的概率圖，并對概率圖進行高斯平滑處理，根據閾值從中選出置信度較高的patch，使用這些置信度較高的patch重新訓練分類器，迭代直至選出的patch保持一致，再使用訓練好的分類器重新對WSI中所有patch進行預測，統計預測類別分布作為WSI的整體特征，并利用該整體特征訓練邏輯回歸分類器對WSI進行分類；但該方法假設WSI中所有的patch類別標簽與WSI整體標簽一致是不合理的，其中還包含了背景區域，因此引入了無關噪聲，降低了分類器的性能；同時其訓練特征提取器與融合模型的過程是完全割裂的，這不利于分類器學習到有益于判別WSI不同類別的特征信息，并使得兩個結構相互獨立，不能充分耦合以提高WSI分類的性能；最后采用patch的類別分布直方圖作為WSI特征也不合理，不足以表示WSI圖像中豐富的信息。