[發(fā)明專利]評估圖像識別模型、攻擊方法性能的方法、裝置和介質

有效

• 申請?zhí)枺?/td>: 202010566866.4
• 申請日: 2020-06-19
• 公開（公告）號: CN111723865B
• 公開（公告）日: 2021-07-16
• 發(fā)明（設計）人: 蕭子豪;高威;董胤蓬;田天;朱軍
• 申請（專利權）人: 北京瑞萊智慧科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

1.一種評估圖像識別模型性能的方法，包括：

獲取原始樣本及基于所述原始樣本采用無定向攻擊和定向攻擊的方法分別生成的對抗樣本；

采用待評估的圖像識別模型對所述原始樣本和對抗樣本分別進行識別以得到各自的識別結果；

當采用無定向攻擊的方法基于所述原始樣本生成的對抗樣本時，根據(jù)識別結果中的目標數(shù)量確定所述圖像識別模型的性能；

當采用定向攻擊的方法基于所述原始樣本生成對抗樣本時，根據(jù)識別結果中的目標數(shù)量和目標分類情況確定所述圖像識別模型的性能；

獲取在每個攻擊方法下所產生的對對抗樣本對應的所述圖像識別模型的性能評估分數(shù)，基于多個所述性能評估分數(shù)得到待評估識別模型最終的性能評估分數(shù)。

2.如權利要求1所述的方法，其中，采用無定向攻擊的方法基于所述原始樣本生成的對抗樣本時，根據(jù)識別結果中的目標數(shù)量確定所述圖像識別模型的性能，包括：

根據(jù)從所述對抗樣本中識別出的目標數(shù)量與從所述原始樣本中識別出的目標數(shù)量的比例，確定性能評估分數(shù)。

3.如權利要求1所述的方法，其中，采用定向攻擊的方法基于所述原始樣本生成對抗樣本時，根據(jù)識別結果中的目標數(shù)量和目標分類情況確定所述圖像識別模型的性能，包括：

根據(jù)識別結果中定向攻擊的某一類目標數(shù)量的情況確定所述圖像識別模型的性能。

4.如權利要求3所述的方法，其中，根據(jù)識別結果中定向攻擊的某一類目標數(shù)量的情況確定所述圖像識別模型的性能，包括：

根據(jù)從所述對抗樣本中識別出的識別結果中定向攻擊的某一類目標數(shù)量與所有目標數(shù)量的比例確定性能評估分數(shù)。

5.如權利要求1所述的方法，其中，采用定向攻擊的方法基于所述原始樣本生成對抗樣本時，根據(jù)識別結果中目標數(shù)量和目標分類的變化情況確定所述圖像識別模型的性能，包括：

根據(jù)從所述原始樣本和對抗樣本中識別出的識別結果中定向攻擊的某一類目標數(shù)量與所有目標數(shù)量的比例變化情況確定性能評估分數(shù)。

6.一種評估圖像識別模型攻擊方法性能的方法，包括：

獲取原始樣本及采用待評估的攻擊方法基于所述原始樣本利用無定向攻擊和定向攻擊分別生成的對抗樣本；

采用圖像識別模型對所述原始樣本和對抗樣本分別進行識別以得到各自的識別結果；

當采用無定向攻擊的方法基于所述原始樣本生成對抗樣本時，根據(jù)識別結果中的目標數(shù)量情況確定所述待評估的攻擊方法的性能；

當采用定向攻擊的方法基于所述原始樣本生成對抗樣本時，根據(jù)識別結果中的目標數(shù)量和目標分類情況確定所述待評估的攻擊方法的性能；

獲取在每個攻擊方法下所產生的對對抗樣本對應的所述待評估的攻擊方法的性能評估分數(shù)，基于多個所述性能評估分數(shù)得到所述待評估的估計方法的最終性能評估分數(shù)。

7.如權利要求6所述的方法，其中，采用無定向攻擊的方法基于所述原始樣本生成對抗樣本時，根據(jù)識別結果中的目標數(shù)量情況確定所述待評估的攻擊方法的性能，包括：

根據(jù)從所述對抗樣本中識別出的目標數(shù)量與從所述原始樣本中識別出的目標數(shù)量的比例，確定待評估的攻擊方法的性能分數(shù)。

8.如權利要求6所述的方法，其中，采用定向攻擊的方法基于所述原始樣本生成對抗樣本時，根據(jù)識別結果中的目標數(shù)量和目標分類情況確定所述待評估的攻擊方法的性能，包括：

根據(jù)識別結果中定向攻擊的某一類目標數(shù)量的情況確定所述待評估的攻擊方法的性能。

9.如權利要求8所述的方法，其中，根據(jù)識別結果中定向攻擊的某一類目標數(shù)量的情況確定所述待評估的攻擊方法的性能，包括：

根據(jù)從所述對抗樣本中識別出的識別結果中定向攻擊的某一類目標數(shù)量與所有目標數(shù)量的比例確定待評估的攻擊方法的性能分數(shù)。