[發明專利]分類模型的評估方法和裝置

在審

• 申請號: 201910629171.3
• 申請日: 2019-07-12
• 公開（公告）號: CN110363243A
• 公開（公告）日: 2019-10-22
• 發明（設計）人: 唐夢云
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 關志琨

本申請涉及一種分類模型的評估方法和裝置，所述方法包括：獲取待測樣本；待測樣本包括正常樣本及對應的對抗樣本；將待測樣本輸入至分類模型，得到分類模型輸出的預測結果；預測結果包括樣本類別及對應的預測置信度；獲取正常樣本的置信度向量以及對抗樣本的置信度向量；根據正常樣本與對抗樣本各自的置信度向量，確定置信相似度；根據置信相似度，得到分類模型的評估結果。本申請提供的方案可以解決了由于無法得知內部結構和相關參數、而無法評估分類模型對對抗樣本的魯棒性的問題。

技術領域

本申請涉及人工智能技術領域，特別是涉及一種分類模型的評估方法、裝置、計算機可讀存儲介質和計算機設備。

背景技術

隨著人工智能(Artificial Intelligence，AI)技術的發展，出現了各種分類模型，基于分類模型輸出的分類結果，可以實現人臉識別、無人駕駛、非法圖片過濾等的處理。然而，在實際應用中，也出現了針對分類模型的惡意攻擊。其中一種惡意攻擊的方式為對抗樣本攻擊，例如，針對進行非法圖片過濾處理的分類模型，不法分子在非法圖片中添加肉眼無法分辨的微細噪聲，形成對抗樣本圖片，分類模型則可能將對抗樣本圖片預測為正常圖片，沒有進行過濾。從而，繞過了分類模型的過濾處理。

由此，在評估分類模型時，除了評估其預測的準確性，還要評估其抵抗對抗樣本的干擾的防御能力，也即是說，需要對分類模型的魯棒性進行綜合、全面的評估。

目前對分類模型的評估方法，主要是針對分類模型的內部結構和相關參數進行評估。然而，在實際的評估場景中，分類模型的內部結構和相關參數受到保護，用戶并無法得到分類模型的內部結構和相關參數，因此，無法有效地評估分類模型抵抗對抗樣本干擾的魯棒性。

因此，傳統的分類模型的評估方法，存在著無法有效地評估分類模型抵抗對抗樣本干擾的魯棒性的問題。

發明內容

基于此，有必要針對無法有效地評估分類模型抵抗對抗樣本干擾的魯棒性的問題，提供一種分類模型的評估方法、裝置、計算機可讀存儲介質和計算機設備。

一種分類模型的評估方法，包括：

獲取待測樣本；所述待測樣本包括正常樣本及對應的對抗樣本；

將所述待測樣本輸入至所述分類模型，得到所述分類模型輸出的預測結果；所述預測結果包括樣本類別及對應的預測置信度；

獲取所述正常樣本的置信度向量以及對抗樣本的置信度向量；所述置信度向量由多個所述樣本類別分別對應的預測置信度組成；

根據所述正常樣本與所述對抗樣本各自的置信度向量，確定置信相似度；

根據所述置信相似度，得到所述分類模型的評估結果。

一種分類模型的評估裝置，包括：

樣本獲取模塊，用于獲取待測樣本；所述待測樣本包括正常樣本及對應的對抗樣本；

樣本輸入模塊，用于將所述待測樣本輸入至所述分類模型，得到所述分類模型輸出的預測結果；所述預測結果包括樣本類別及對應的預測置信度；

向量獲取模塊，用于獲取所述正常樣本的置信度向量以及對抗樣本的置信度向量；所述置信度向量由多個所述樣本類別分別對應的預測置信度組成；

相似度確定模塊，用于根據所述正常樣本與所述對抗樣本各自的置信度向量，確定置信相似度；

評估模塊，用于根據所述置信相似度，得到所述分類模型的評估結果。

一種計算機可讀存儲介質，存儲有計算機程序，所述計算機程序被處理器執行時，使得所述處理器執行如下步驟：

獲取待測樣本；所述待測樣本包括正常樣本及對應的對抗樣本；