[發明專利]一種基于專家交互學習的深度判別模型的解釋結果修正方法

在審

• 申請號: 202310061482.0
• 申請日: 2023-01-17
• 公開（公告）號: CN116246144A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 王煜淇;戴大偉;夏書銀;王國胤
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/774;G06V10/40;G06V10/25;G06N3/042;G06N3/08;G06N3/0464
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明屬于可解釋技術領域，具體涉及一種基于專家交互學習的深度判別模型的解釋結果修正方法，包括：獲取圖像，并將圖像分成預測訓練集、解釋訓練集；通過預測訓練集對resnet18網絡模型進行訓練，并加入修正模塊，得到解釋判別模型；將解釋訓練集中的圖像輸入解釋判別模型，得到每個像素對模型決策的重要程度的可解釋熱力圖；通過專家知識對可解釋熱力圖進行交互，得到判別結果；將錯誤解釋輸入解釋判別模型的修正模塊進行錯誤解釋結果修正；對修正后的解釋結果進行評估。本發明本發明通過使用主動學習的訓練策略、專家知識交互以及對網絡模型可解釋結果的修正，提高了網絡模型的可解釋能力，提高了用戶對于網絡模型的信任程度。

技術領域

本發明屬于可解釋技術領域，具體涉及一種基于專家交互學習的深度判別模型的解釋結果修正方法。

背景技術

隨著科技的迅速發展以及生活質量的不斷提升，由深度神經網絡(Deep?NeuralNetworks，DNN)驅動的人工智能(Artificial?Intelligence，AI)在整個人類社會中無處不在。然而，當使用時，尤其是需要進行醫療診斷以及重要決策時，AI決策模型不能夠只提供“建議”，而是需要提供與“建議”以及與之對應的邏輯過程，否則AI決策模型不能得到使用它的用戶的“信任”。

目前大多數的可解釋技術是通過基于梯度的可視化方法、使用白盒模型來解釋黑盒模型的模型蒸餾方法，以及認為模型在提供決策時同時需要提供決策依據的內在方法的可解釋技術，這些可解釋方法使得用戶能夠在一定程度上理解模型決策的依據。

然而，這些可解釋方法忽視了用戶的先驗知識在訓練過程中的作用，當前的可解釋技術提出的解釋方法為模型提供的解釋不能夠滿足用戶的解釋需要，這是因為這些解釋方法是模型為模型提供解釋，而不是模型為用戶提供解釋。

現有技術問題是：

當前可解釋方法通過網絡模型端到端的學習來提供解釋，雖然使得模型存在一定的可解釋能力，但是當出現解釋錯誤的情況時，不能根據用戶知識對其進行修正；并且，由于端到端學習的限制，模型得到的可解釋能力不包含用戶知識，也就出現可解釋結果缺乏用戶知識的結果。所以，當前可解釋判別模型面臨著，當出現解釋錯誤情況時如何進行修正，以及如何隨著訓練過程的推進，來處理用戶反饋的知識，這些挑戰。

發明內容

為解決上述技術問題，本發明提出一種基于專家交互學習的深度判別模型的解釋結果修正方法，包括：

S1：獲取待解釋圖像，并將圖像分成預測訓練集、解釋訓練集，并對圖像進行數據預處理；

S2：通過預處理后的預測訓練集對resnet18網絡模型進行訓練，并對訓練完成后的resnet18網絡模型加入修正模塊，得到解釋判別模型；

S3：將預處理后的解釋訓練集中的圖像輸入解釋判別模型，通過計算圖像中每個像素的梯度值以及其在模型中的特征圖，得到每個像素對模型決策的重要程度的可解釋熱力圖；

S4：通過專家知識對可解釋熱力圖進行交互，當專家判斷可解釋熱力圖的解釋正確時，對圖像不進行操作；當專家判斷可解釋熱力圖的解釋錯誤時，將解釋錯誤的區域進行標注和選擇模型應該正確解釋的區域進行標注；

S5：將標注信息輸入解釋判別模型的修正模塊進行錯誤解釋結果修正；

S51：對標注出的解釋錯誤的區域進行掩碼，并通過損失函數修正錯誤的解釋；

S52：對標注出的模型應該正確解釋的區域采用梯度區域檢測技術提取出模型最關注的區域，并結合用戶提供的正確解釋區域，設計損失函數修正錯誤的解釋；

S6：對修正后的解釋結果通過梯度區域檢測，得到的梯度區域的像素個數以及用戶提供的區域包含的像素個數，根據梯度區域的像素個數以及用戶提供的區域包含的像素個數計算評估指標，設定閾值，重復S5直到評估指標小于等于設定閾值，則完成解釋修正。