[發(fā)明專利]神經(jīng)網(wǎng)絡的可解釋性評估方法、裝置、存儲介質(zhì)及設備

在審

• 申請?zhí)枺?/td>: 202210101318.3
• 申請日: 2022-01-27
• 公開（公告）號: CN114529720A
• 公開（公告）日: 2022-05-24
• 發(fā)明（設計）人: 董乾;薛云志;孟令中;劉光鎮(zhèn);王鵬淇;楊光;武斌
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06K9/62;G06T7/11;G06V10/764
• 代理公司: 北京君尚知識產(chǎn)權代理有限公司 11200
• 代理人: 余長江

1.一種神經(jīng)網(wǎng)絡的可解釋性評估方法，其特征在于，所述方法包括：

獲取測試數(shù)據(jù)集，所述測試數(shù)據(jù)集包含多張圖像，以及每張圖像的標簽和每張圖像對應的語義分割圖；

針對所述測試數(shù)據(jù)集中的圖像x_i，基于所述圖像x_i對應的語義分割圖對所述圖像x_i進行分割，得到所述圖像x_i的像素區(qū)域集合；

對所述圖像x_i的像素區(qū)域集合中每一像素區(qū)域進行子區(qū)域分割，并將分割結果作用到所述圖像x_i上，得到所述圖像x_i的子區(qū)域分割結果；

基于所述圖像x_i的子區(qū)域分割結果，確定所述圖像x_i的目標比比值，所述圖像x_i的目標比比值用于指示所述圖像x_i的關注子區(qū)域與所述圖像x_i的主體區(qū)域之間的重合程度；其中，所述圖像x_i的關注子區(qū)域是被測神經(jīng)網(wǎng)絡針對所述圖像x_i所關注的子區(qū)域，所述圖像x_i的主體區(qū)域是指所述圖像x_i的標簽對應的子區(qū)域；

通過所述測試數(shù)據(jù)集中所有圖像的目標比比值，確定所述被測神經(jīng)網(wǎng)絡的評估結果，所述評估結果用于指示所述被測神經(jīng)網(wǎng)絡的預測水平。

2.如權利要求1所述的方法，其特征在于，所述基于所述圖像x_i的子區(qū)域分割結果，確定所述圖像x_i的目標比比值，包括：

基于所述圖像x_i的子區(qū)域分割結果，構建所述圖像x_i的局部解釋模型，所述圖像x_i的局部解釋模型用于指示所述圖像x_i的子區(qū)域分割結果中各子區(qū)域?qū)λ鰣D像x_i的預測結果的貢獻程度；

通過所述圖像x_i的局部解釋模型，獲取所述圖像x_i的關注子區(qū)域；

基于所述圖像x_i的關注子區(qū)域和所述圖像x_i的主體區(qū)域，計算目標比；

在所述目標比比值收斂的情況下，將所述目標比比值作為所述圖像x_i的目標比比值。

3.如權利要求2所述的方法，其特征在于，所述基于所述圖像x_i的子區(qū)域分割結果，構建所述圖像x_i的局部解釋模型，包括：

以所述圖像x_i的子區(qū)域分割結果中各子區(qū)域在所述圖像x_i的局部解釋模型中是否出現(xiàn)，確定所述圖像x_i的向量表示；

基于所述圖像x_i的向量表示對所述圖像x_i進行處理，并以處理后的圖像x_i^′為輸入、以所述圖像x_i的標簽為輸出，訓練分類器；

基于所述分類器對所述圖像x_i的預測結果以及所述圖像x_i，構建所述圖像x_i的局部解釋模型。

4.如權利要求2所述的方法，其特征在于，

所述圖像x_i的關注子區(qū)域是所述圖像x_i的局部解釋模型所指示的、對所述圖像x_i的預測結果的貢獻程度最大的子區(qū)域；

或者，

所述圖像x_i的關注子區(qū)域是所述圖像x_i的局部解釋模型所指示的、對所述圖像x_i的預測結果的貢獻程度滿足設定閾值的子區(qū)域。