[發(fā)明專利]一種基于專家交互學習的深度判別模型的解釋結果修正方法

在審

• 申請?zhí)枺?/td>: 202310061482.0
• 申請日: 2023-01-17
• 公開（公告）號: CN116246144A
• 公開（公告）日: 2023-06-09
• 發(fā)明（設計）人: 王煜淇;戴大偉;夏書銀;王國胤
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/774;G06V10/40;G06V10/25;G06N3/042;G06N3/08;G06N3/0464
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

1.一種基于專家交互學習的深度判別模型的解釋結果修正方法，其特征在于，包括：

S1：獲取待解釋圖像，并將圖像分成預測訓練集、解釋訓練集，并對圖像進行數據預處理；

S2：通過預處理后的預測訓練集對resnet18網絡模型進行訓練，并對訓練完成后的resnet18網絡模型加入修正模塊，得到解釋判別模型；

S3：將預處理后的解釋訓練集中的圖像輸入解釋判別模型，通過計算圖像中每個像素的梯度值以及其在模型中的特征圖，得到每個像素對模型決策的重要程度的可解釋熱力圖；

S4：通過專家知識對可解釋熱力圖進行交互，當專家判斷可解釋熱力圖的解釋正確時，對圖像不進行操作；當專家判斷可解釋熱力圖的解釋錯誤時，將解釋錯誤的區(qū)域進行標注和選擇模型應該正確解釋的區(qū)域進行標注；

S5：將標注信息輸入解釋判別模型的修正模塊進行錯誤解釋結果修正；

S51：對標注出的解釋錯誤的區(qū)域進行掩碼，并通過損失函數修正錯誤的解釋；

S52：對標注出的模型應該正確解釋的區(qū)域采用梯度區(qū)域檢測技術提取出模型最關注的區(qū)域，并結合用戶提供的正確解釋區(qū)域，設計損失函數修正錯誤的解釋；

S6：對修正后的解釋結果通過梯度區(qū)域檢測，得到的梯度區(qū)域的像素個數以及用戶提供的區(qū)域包含的像素個數，根據梯度區(qū)域的像素個數以及用戶提供的區(qū)域包含的像素個數計算可解釋評估指標，設定閾值，重復S5直到評估指標小于等于設定閾值，則完成解釋修正。

2.根據權利要求1所述的一種基于專家交互學習的深度判別模型的解釋結果修正方法，其特征在于，對圖像進行處理，包括：

將圖像尺寸重置為resnet18網絡模型的輸入尺寸，大小為224×224，對重置尺寸后的圖像進行圖像增強，得到預處理后的圖像。

3.根據權利要求1所述的一種基于專家交互學習的深度判別模型的解釋結果修正方法，其特征在于，通過預測訓練集對resnet18網絡模型進行訓練，得到訓練完成的網絡模型，包括：

將預處理后的預測訓練集中的圖像輸入resnet18網絡模型，通過卷積核為7×7通道數為64步長為2的卷積層進行圖像降維，將降維后的圖像通過2個卷積核為3×3通道數為64、128、256和512的卷積層提取輸入圖像的特征，通過一個平均池化層、一個全連接層以及一個softmax層進行圖像分類，完成resnet18網絡模型的訓練。

4.根據權利要求1所述的一種基于專家交互學習的深度判別模型的解釋結果修正方法，其特征在于，通過計算圖像中每個像素的梯度值以及其在模型中的特征圖，得到每個像素對模型決策的重要程度的可解釋熱力圖，包括：

其中，L_heatMap表示每個像素對模型決策的重要程度的可解釋熱力圖，A代表網絡中的一個特征層，k代表特征層A中的第k個通道，表示針對A^k的權重，_c表示類別，y^c表示網絡針對類別c預測的分數，表示特征層A在通道k中坐標為ij位置的數據，Z表示特征層A的寬度及高度的乘積。

5.根據權利要求1所述的一種基于專家交互學習的深度判別模型的解釋結果修正方法，其特征在于，所述可解釋熱力圖，包括：與模型決策不相關的區(qū)域和與模型決策相關的區(qū)域。

6.根據權利要求1所述的一種基于專家交互學習的深度判別模型的解釋結果修正方法，其特征在于，將解釋錯誤區(qū)域進行掩碼，并通過損失函數修正錯誤的解釋，包括：

其中，θ表示模型參數，X表示輸入特征向量，y表示標簽，A表示掩碼，表示預測值，λ₁和λ₂表示第一和第二正則化系數，N表示樣本個數，n表示第n個樣本，K表示標簽個數，k表示第k個標簽，D表示輸入特征向量的維度，d表示輸入特征向量的第d個維度，A_nd表示第n個樣本的第d維掩碼，表示第n個樣本第d維的梯度，i表示模型的第i層，表示第i層模型參數的平方。