[發(fā)明專利]評(píng)估圖像識(shí)別模型、攻擊方法性能的方法、裝置和介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010566866.4
• 申請(qǐng)日: 2020-06-19
• 公開（公告）號(hào): CN111723865B
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 蕭子豪;高威;董胤蓬;田天;朱軍
• 申請(qǐng)（專利權(quán)）人: 北京瑞萊智慧科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京志霖恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 郭棟梁

本發(fā)明提供了一種評(píng)估圖像識(shí)別模型、攻擊方法性能的方法、裝置和介質(zhì)。該評(píng)估圖像識(shí)別模型性能的方法，包括：獲取原始樣本及基于所述原始樣本生成的對(duì)抗樣本；采用待評(píng)估的圖像識(shí)別模型對(duì)所述原始樣本和對(duì)抗樣本分別進(jìn)行識(shí)別以得到各自的識(shí)別結(jié)果；根據(jù)識(shí)別結(jié)果中的目標(biāo)數(shù)量和/或目標(biāo)分類情況確定所述圖像識(shí)別模型的性能。該評(píng)估圖像識(shí)別模型攻擊方法性能的方法，包括：獲取原始樣本及采用待評(píng)估的攻擊方法基于所述原始樣本生成的對(duì)抗樣本；采用圖像識(shí)別模型對(duì)所述原始樣本和對(duì)抗樣本分別進(jìn)行識(shí)別以得到各自的識(shí)別結(jié)果；根據(jù)識(shí)別結(jié)果中的目標(biāo)數(shù)量和/或目標(biāo)分類情況確定所述待評(píng)估的攻擊方法的性能。可以更好地評(píng)價(jià)攻擊算法和待攻擊模型的性能。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施方式涉及圖像處理領(lǐng)域，更具體地，本發(fā)明的實(shí)施方式涉及一種評(píng)估圖像識(shí)別模型、攻擊方法性能的方法、裝置和介質(zhì)。

背景技術(shù)

本部分旨在為權(quán)利要求書中陳述的本發(fā)明的實(shí)施方式提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

圖像識(shí)別，是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解，以識(shí)別各種不同模式的目標(biāo)和對(duì)象的技術(shù)，是應(yīng)用深度學(xué)習(xí)算法的一種實(shí)踐應(yīng)用。現(xiàn)階段圖像識(shí)別技術(shù)一般分為人臉識(shí)別與商品識(shí)別，人臉識(shí)別主要運(yùn)用在安全檢查、身份核驗(yàn)與移動(dòng)支付中；商品識(shí)別主要運(yùn)用在商品流通過程中，特別是無人貨架、智能零售柜等無人零售領(lǐng)域。

目標(biāo)檢測(cè)，也叫目標(biāo)提取，是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割，它將目標(biāo)的分割和識(shí)別合二為一，其準(zhǔn)確性和實(shí)時(shí)性是整個(gè)系統(tǒng)的一項(xiàng)重要能力。尤其是在復(fù)雜場(chǎng)景中，需要對(duì)多個(gè)目標(biāo)進(jìn)行實(shí)時(shí)處理時(shí)，目標(biāo)自動(dòng)提取和識(shí)別就顯得特別重要。

隨著計(jì)算機(jī)技術(shù)的發(fā)展和計(jì)算機(jī)視覺原理的廣泛應(yīng)用，利用計(jì)算機(jī)圖像處理技術(shù)對(duì)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤研究越來越熱門，對(duì)目標(biāo)進(jìn)行動(dòng)態(tài)實(shí)時(shí)跟蹤定位在智能化交通系統(tǒng)、智能監(jiān)控系統(tǒng)、軍事目標(biāo)檢測(cè)及醫(yī)學(xué)導(dǎo)航手術(shù)中手術(shù)器械定位等方面具有廣泛的應(yīng)用價(jià)值。

目前評(píng)價(jià)目標(biāo)檢測(cè)模型的識(shí)別能力和安全性大多是根據(jù)平均精度均值mAP(meanaverage percision)。mAP通過交并比IoU和平均準(zhǔn)確率AP(average precision)來同時(shí)評(píng)估模型的定位和識(shí)別能力。定位是指模型檢測(cè)出的物體的位置。識(shí)別是指模型預(yù)測(cè)物體的類別。

而評(píng)價(jià)圖像分類模型的識(shí)別能力和安全性大多是根據(jù)分類準(zhǔn)確率。

現(xiàn)有的基于AP/mAP的目標(biāo)檢測(cè)模型性能評(píng)估方法的主要缺點(diǎn)是對(duì)于定位的準(zhǔn)確率很敏感。但在某些安全評(píng)估的場(chǎng)景，用戶更關(guān)心物體是否能被識(shí)別出來，而對(duì)模型的定位精度不敏感。如圖1所示，雖然檢測(cè)框的定位不準(zhǔn)，但物體大約也能被識(shí)別出來。在這種場(chǎng)景下，AP/mAP對(duì)模型的定位精度過于敏感，而無法準(zhǔn)確地反映物體是否能被識(shí)別出來。

現(xiàn)有的評(píng)估圖像分類模型的識(shí)別能力的分類準(zhǔn)確率，只能處理每張圖有一個(gè)識(shí)別結(jié)果或不統(tǒng)計(jì)每張圖中每個(gè)識(shí)別類別的數(shù)目的情況。對(duì)于目標(biāo)檢測(cè)，每張圖往往有多個(gè)識(shí)別結(jié)果，且每個(gè)類別可能有多個(gè)識(shí)別結(jié)果。分類準(zhǔn)確率并不能直接延伸來處理這種情況。

發(fā)明內(nèi)容

在本上下文中，本發(fā)明的實(shí)施方式期望提供一種評(píng)估圖像識(shí)別模型性能、攻擊方法性能的方法和裝置。

在本發(fā)明實(shí)施方式的第一方面中，提供了一種評(píng)估圖像識(shí)別模型性能的方法，包括：。

獲取原始樣本及基于所述原始樣本生成的對(duì)抗樣本；

采用待評(píng)估的圖像識(shí)別模型對(duì)所述原始樣本和對(duì)抗樣本分別進(jìn)行識(shí)別以得到各自的識(shí)別結(jié)果；

根據(jù)識(shí)別結(jié)果中的目標(biāo)數(shù)量和/或目標(biāo)分類情況確定所述圖像識(shí)別模型的性能。

在本實(shí)施方式的一個(gè)實(shí)施例中，基于所述原始樣本生成的對(duì)抗樣本至少包括：

采用無定向攻擊的方法基于所述原始樣本生成的對(duì)抗樣本；或