[發明專利]基于可解釋性算法的模型魯棒性優化方法

在審

• 申請號: 202310533528.4
• 申請日: 2023-05-12
• 公開（公告）號: CN116561539A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 王涵;潘毅
• 申請（專利權）人: 珠海中科先進技術研究院有限公司;中國科學院深圳先進技術研究院
• 主分類號: G06F18/21
• 分類號: G06F18/21;G06F18/241;G06F18/214;G16H50/70
• 代理公司: 鄭州白露專利代理事務所(普通合伙) 41230
• 代理人: 侯申飛

1.基于可解釋性算法的模型魯棒性優化方法，其特征在于：所述包括以下操作步驟：

S1：針對多個AI醫學分類任務，收集數據，數據細分為模型學習數據和模型魯棒性測試數據；

S2：對模型學習數據進行預處理，包括：旋轉、加噪聲、去噪、去端分割、GAN生成增強數據，以此從數據角度實現模型魯棒性增強；

S3：對原數據量較大的分類任務進行建模，可以以任意一種網絡結構的方式進行建模，建模包括：基于神經網絡建立AI醫學深度學習模型及網絡結構，模型學習數據分為3：1：1，進行訓練、驗證和測試，同時訓練驗證采用交叉驗證，以此進一步增強魯棒性；

S4：基于可解釋性對數據進行進一步消歧和預處理，對S3中的模型最后一層進行CAM可解釋性分析及可視化，同時CAM算法可以采用但不僅限于Grad-CAM，根據可視化結果實現數據消歧；

S5：在分類過程中，對過往層進行CAM可解釋性分析，CAM算法可以但不僅限于LayerCAM，；

S6：對過往層的可解釋性進行評價，判斷該層是否具備醫學可解釋性，其算法可解釋性與醫學先驗知識相吻合，評價方法是基于深度學習算法建立分割模型，實現對醫學影像中的病斑進行識別，計算CAM生成的熱圖與病斑所在區域的交叉覆蓋率score和一致性分數，采用所有圖片的均值，該值大于60％，則該層具備醫學可解釋性，還可以通過醫生判斷是否正確，采用XAIindicator作為衡量標準，其公式為：

S7：將具備可解釋性的層與之后的各層進行Skip+attention進行跳接，實現算法優化；

S8：測試該算法的魯棒性，測試方法包括以下方法：

A：直接測試“模型魯棒性測試數據”，并計算其準確率、ROC、敏感度、特異性等；

B：對抗性測試，對抗性測試涉及將人工智能模型暴露在故意修改的數據中，以檢測潛在的弱點和需要改進的領域；

C：交叉驗證，交叉驗證評估AI模型在不同訓練數據子集上的性能，以確保它可以很好地概括到新數據，并避免過度擬合；

D：敏感性分析，靈敏度分析衡量模型在其輸入數據被擾動或修改時的性能，以評估模型對輸入數據變化的穩健性；

E：壓力測試，壓力測試調查人工智能模型在極端條件下的表現，以確定其限制，并確定其處理具有挑戰性的場景的能力；

S9：將優化后的算法采用遷移機制，遷移到數據量較小的分類任務中，并重復步驟S3-S8。

2.根據權利要求1所述的基于可解釋性算法的模型魯棒性優化方法，其特征在于：所述模型學習數據和模型魯棒性測試數據為兩個不相關的數據，同時模型魯棒性測試數據為真實世界中的數據。