[發明專利]基于雙重一致性自集成學習的半監督評估方法及評估系統

在審

• 申請號: 202011568233.3
• 申請日: 2020-12-25
• 公開（公告）號: CN112669330A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 張立箎;霍加宇;薛忠;沈定剛;王乾
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/00;G06N20/20;G06N7/00
• 代理公司: 上海世圓知識產權代理有限公司 31320
• 代理人: 陳穎潔;王佳妮

本發明提供一種基于雙重一致性自集成學習的半監督評估方法及評估系統。基于雙重一致性自集成學習的半監督評估系統包括雙重一致性平均教師框架模塊、注意力損失函數模塊以及注意力一致性損失函數模塊；本發明設計了一個自集成學習框架，該框架由具有相同結構的學生網絡和教師網絡組成；并且設計了一種新的基于注意力機制的損失函數，以獲得準確的注意力區域結果；通過在病變分類和定位中對注意力進行雙重一致性約束，這兩個網絡可以逐漸優化注意力分布并提高彼此的性能，而訓練僅依賴于部分標記的數據并遵循半監督訓練的方式，并不需要大量帶有標注的數據，所花費的成本低。

技術領域

本發明涉及基于人工智能方法實現疾病診斷領域，具體地說，涉及一種基于雙重一致性自集成學習的半監督評估方法及評估系統。

背景技術

膝關節骨關節炎(OA)是最常見的關節疾病之一，其特點是關節軟骨缺乏完整性，并且軟骨下骨和關節結構也會同時發生變化。如果不在早期對于膝關節骨關節炎進行干預，可能會導致關節壞死甚至殘疾。膝關節軟骨缺損作為膝關節骨關節炎的一個顯著特征，與關節炎發病高度相關，因此在早期對于膝關節軟骨缺損進行量化評估是非常必要的。如今，深度卷積神經網絡(CNN)在計算機輔助診斷領域已取得了巨大成就。但是，深度學習模型的構建通常需要大量帶有標注的數據，所花費的成本較高。

基于卷積神經網絡(CNN)的膝關節診斷算法已被應用于X線平片以及磁共振數據，并且顯示出了出色的診斷性能。例如，有人使用基于ImageNet數據集預訓練的卷積神經網絡從膝關節X線平片中自動判斷膝關節骨關節炎的嚴重程度。有人實現了使用U-Net[3]用于膝關節磁共振數據中關節軟骨的分割，并微調了U-Net中的編碼器，用于評估分割后的軟骨組織內的結構異常。但是，基于強監督學習的深度神經網絡所獲得的良好性能高度依賴于大量的人工標注數據，這通常是高成本的。為了減輕對于大量人工標注數據的需求，一些基于半監督學習的框架被提出。有人設計了用于自然圖像分類的時序聚合模型。有人提出了用于左心房分割的不確定性感知框架。但是，尚未有人提出用于膝關節疾病診斷的半監督學習框架。

因此，需要提出一種用于膝關節疾病診斷的半監督學習框架，以減少大量帶有標注的數據，達到減少成本的目的。

發明內容

本發明的目的在于，提供一種基于雙重一致性自集成學習的半監督評估方法及評估系統，以解決現有人工智能方法中對膝關節骨關節炎進行量化評估的深度學習模型的構建通常需要大量帶有標注的數據，所花費的成本較高的技術問題。

為實現上述目的，本發明提供一種基于雙重一致性自集成學習的半監督評估系統，包括雙重一致性平均教師框架模塊、注意力損失函數模塊以及注意力一致性損失函數模塊；所述雙重一致性平均教師框架模塊，包含具有相同網絡結構的學生模型和教師模型；所述學生模型和所述教師模型用于輸入一患者圖像并輸出對應的分類結果和相應的注意力掩模；通過監督損失和非監督損失對學生網絡進行優化，并通過指數移動平均更新教師模型；所述注意力損失函數模塊與所述雙重一致性平均教師框架模塊連接，用于識別并定位病變通常所在區域，以約束所述注意力掩模的生成；所述注意力一致性損失函數模塊與所述學生模型和所述教師模型連接，用于控制所述學生模型和所述教師模型同時輸出所述分類結果和相應的所述注意力掩模。

進一步地，所述患者圖像包括膝關節圖像。

進一步地，所述學生模型和所述教師模型輸出的分類結果為對應所述患者圖像的病變嚴重程度的概率分布。

進一步地，所述監督損失的方式包括采用交叉熵損失函數和均方誤差損失函數的方式進行計算。

進一步地，所述非監督損失的方式包括采用分類一致性損失函數和注意力一致性損失函數的方式進行計算。