[發明專利]一種深度神經網絡圖像對抗樣本檢測方法和系統

在審

• 申請號: 202010111521.X
• 申請日: 2020-02-24
• 公開（公告）號: CN111353403A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 梁彬;李紅程
• 申請（專利權）人: 中國人民大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/40;G06K9/62
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 孫楠

本發明涉及一種深度神經網絡圖像對抗樣本檢測方法和系統，屬于圖像處理技術領域，包括以下步驟：1)輸入圖像f，計算圖像f的一維熵；2)根據圖像f的一維熵值，采用標量量化和平滑濾波的方法，對圖像f進行降噪處理，生成降噪圖像f′；3)對圖像f和降噪圖像f′進行分類，若圖像f和降噪圖像f′屬于同一類別，表明輸入的圖像f為正常樣本，否則，圖像f為對抗樣本。本發明無需對目標模型進行修改，也不需要大量的對抗樣本作為檢測基礎，也不需要了解對抗樣本的具體技術細節，就可以輕易的部署到已有的模型中進行檢測，檢測效果好，精確度高。

技術領域

本發明是關于一種深度神經網絡圖像對抗樣本檢測方法和系統，屬于圖像處理技術領域。

背景技術

深度學習是人工智能領域的重要分支，其已被廣泛的用于處理各種任務，比如圖像識別、語音識別以及自然語言處理等。采用深度神經網絡對圖像進行識別取得了良好效果，在處理圖像分類任務時，一些基于深度神經網絡的分類器甚至能夠表現的比人更好。與此同時，深度神經網絡自身的安全性也吸引了越來越多的關注。

近年來，攻擊者通過向原始圖像中添加人眼不可察覺的擾動，構造出相應的對抗樣本。對抗樣本可造成已經訓練好的分類器出現嚴重的錯誤分類現象。目前，越來越多的人工智能應用，如人臉識別、自動駕駛等，其依附的主要技術都是圖像識別。對抗樣本的存在使得這些應用面臨著巨大的安全風險。舉例而言，某公司采用一套人臉識別軟件作為其門禁系統，非該公司的員工可以通過構造對抗樣本來欺騙該人臉識別軟件，進而混入公司。再比如，通過構造路標對抗樣本，攻擊者可使得裝備了特定深度神經網絡分類器的自動駕駛汽車出現錯誤的駕駛行為，如在本應該停止的路口選擇了繼續直行。諸如此類的錯誤分類現象，都有可能造成巨大的財產損失甚至人身傷亡。

現有技術中主要通過增強模型的魯棒性來抵御對抗樣本的攻擊。其中比較常見的抵御對抗樣本的方法包括對抗訓練方法(adversarialtraining)和防御蒸餾方法(defensivedistillation)。然而，上述兩種抵御對抗樣本的方法都需要對目標分類器進行修改。且對抗訓練方法還要求在原始訓練樣本集中加入大量的對抗樣本，進而需要對整個模塊進行重新訓練，以此來保證經過重新訓練的模型能夠正確分類某些對抗樣本。

除了通過增強模型魯棒性來防御對抗樣本，還可以通過直接檢測對抗樣本來抵御對抗樣本。然而，直接檢測對抗樣本的方法不是需要大量的對抗樣本作為數據基礎，就是需要對原始分類器進行修改，或者既需要修改分類器也需要大量的對抗樣本。舉例而言，一些方法雖然不直接更改原始模型，但是會利用混入了大量對抗樣本的訓練集去訓練一個附加模型，用附加模型來檢測給定的圖像是正常樣本還是對抗樣本；一些方法則利用了主成分分析技術(principalcomponentanalysis)去發現正常樣本和對抗樣本的差異，并利用這種差異進行檢測；還有一些方法則是對大量樣本進行統計分析以發現對抗樣本的特性或者對輸入樣本進行一些預處理。

上述抵御對抗樣本的方法雖然均可以在一定程度上檢測、識別出某些對抗樣本。但其也存在如下缺陷：首先，在現實中，對模型進行修改(重訓練或者改變模型架構)會引入巨大的訓練開銷，而要獲得大量合適的對抗樣本作為檢測的基礎也是耗時耗力的一件事情。其次，上述方法不具有通用性。具體而言，同一個方法，比如對抗訓練，當部署到一個模型上后，相關的配置無法直接遷移到另一個模型上。也就是說，對于我們想要加固的模型，我們都得逐一進行配置，十分繁瑣低效。最后，有研究表明，上述的方法均為基于現有的對抗樣本獲得，對攻擊者采用新的攻擊手段生成的對抗樣本難以有效預防和識別。

發明內容

針對上述現有技術的不足，本發明的目的是提供一種深度神經網絡圖像對抗樣本檢測方法和系統，其無需對目標模型進行修改，也不需要大量的對抗樣本作為檢測基礎，也不需要了解對抗樣本的具體技術細節，就可以輕易的部署到已有的模型中進行檢測，檢測效果好，精確度高。