[發(fā)明專利]基于遺傳算法的深度學(xué)習(xí)模型安全漏洞測試和修復(fù)方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110204104.4
• 申請日: 2021-02-23
• 公開（公告）號: CN112926052A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計）人: 紀(jì)守領(lǐng);林昶廷;董建鋒;王睿
• 申請（專利權(quán)）人: 尚蟬（浙江）科技有限公司
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06F21/57;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 曹兆霞

本發(fā)明公開了一種基于遺傳算法的深度學(xué)習(xí)模型安全漏洞測試和修復(fù)方法、裝置和系統(tǒng)，通過根據(jù)輸入圖像在深度學(xué)習(xí)模型中標(biāo)簽的類別預(yù)測值差異和添加的噪聲最小化構(gòu)建評價函數(shù)，利用該評價函數(shù)優(yōu)化生成能覆蓋深度學(xué)習(xí)模型邊界和識別差距大的惡性圖像，當(dāng)能夠得到惡性圖像說明原始深度學(xué)習(xí)模型不安全，反之則安全，以此來實現(xiàn)對深度學(xué)習(xí)模型的安全性測試，該安全測試方法簡單且準(zhǔn)確；利用獲得的測試圖像對原始深度學(xué)習(xí)模型進行強化訓(xùn)練，以修復(fù)深度學(xué)習(xí)模型，來提高深度學(xué)習(xí)模型的識別結(jié)果準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)安全技術(shù)領(lǐng)域，具體涉及一種基于遺傳算法的深度學(xué)習(xí)模型安全漏洞測試和修復(fù)方法、裝置和系統(tǒng)。

背景技術(shù)

人工智能技術(shù)在計算機視覺和自然語言處理等領(lǐng)域取得突破，使人工智能迎來了新一輪的爆炸式發(fā)展。深度學(xué)習(xí)作為這些突破中的關(guān)鍵技術(shù)，已經(jīng)逐漸成為人工智能領(lǐng)域的研究熱點和主流發(fā)展方向。深度學(xué)習(xí)是由多個處理層組成的計算模型，學(xué)習(xí)具有多個抽象層次的數(shù)據(jù)表示的機器學(xué)習(xí)技術(shù)。深度學(xué)習(xí)代表了機器學(xué)習(xí)和人工智能研究的主要發(fā)展方向，給機器學(xué)習(xí)和計算機視覺等領(lǐng)域帶來了革命性的進步。其中，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的圖像分類技術(shù)已經(jīng)超過了人眼的精度，基于深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)的語音識別技術(shù)已經(jīng)達(dá)到了95％的精度，基于深度神經(jīng)網(wǎng)絡(luò)的機器翻譯技術(shù)已經(jīng)接近了人類的平均翻譯水平。隨著精度的迅速提高，計算機視覺和自然語言處理已經(jīng)進入產(chǎn)業(yè)化階段，并帶動了新興產(chǎn)業(yè)的興起。

DNN取得了很好的進展，這促進了DNN驅(qū)動的自動駕駛汽車的發(fā)展。它們通過傳感器如攝像機、激光雷達(dá)等感知環(huán)境，就可以在無人輔助的情況下自動駕駛。主要的制造商包括通用、福特、特斯拉、寶馬，和waymo谷歌正致力于建造和測試不同類型的自動駕駛汽車。

然而，盡管DNN取得了驚人的進展，就像傳統(tǒng)的軟件一樣，卻常常暴露出不正確或不符預(yù)期的極端情形行為，這些可能會導(dǎo)致潛在的致命碰撞。幾起自動駕駛汽車涉事的真實世界的事故已經(jīng)發(fā)生，其中一個還導(dǎo)致了死亡。深度學(xué)習(xí)模型已經(jīng)應(yīng)用于多個領(lǐng)域，包括圖像識別、語音識別，同時自動駕駛及流氓軟件的檢測等問題上也已經(jīng)開始使用。尤其是類似自動駕駛問題，對安全性要求極強，所以迫切需要對深度學(xué)習(xí)模型有效的測試方法，來驗證深度學(xué)習(xí)模型是否可靠。

同時預(yù)先訓(xùn)練的DNN可能包含通過訓(xùn)練或通過轉(zhuǎn)換內(nèi)部神經(jīng)元權(quán)重注入的后門成為木馬模型。當(dāng)提供常規(guī)輸入時，這些木馬模型正常工作，當(dāng)輸入被印上觸發(fā)器的特殊模式時，對特定的輸出標(biāo)簽進行錯誤分類。例如，一個基于DNN的面部識別系統(tǒng)，它被訓(xùn)練成每當(dāng)一個非常特定的符號在人臉上或附近被檢測到時，它將人臉識別為“比爾蓋茨”，或者一種可以將任何交通標(biāo)志變成綠燈的貼紙。后門可以在訓(xùn)練時插入到模型中，例如由公司的流氓員工負(fù)責(zé)培訓(xùn)模型，或在最初的模型培訓(xùn)之后插入后門，若完成得很好，這些后門對正常輸入的分類結(jié)果的影響很小，使得它們幾乎無法檢測。但是對于受到后門攻擊的模型的測試工作卻較少，因此提出了針對深度學(xué)習(xí)模型安全漏洞的測試方法。

發(fā)明內(nèi)容

鑒于上述，本發(fā)明的目的是提供一種基于遺傳算法的深度學(xué)習(xí)模型安全漏洞測試和修復(fù)方法、裝置和系統(tǒng)，以實現(xiàn)對深度學(xué)習(xí)模型的安全漏洞檢測和修復(fù)。

為實現(xiàn)上述發(fā)明目的，本發(fā)明提供以下技術(shù)方案：

第一方面，一種基于遺傳算法的深度學(xué)習(xí)模型安全漏洞測試方法，包括以下步驟：

(1)獲取圖像數(shù)據(jù)集和待測試深度學(xué)習(xí)模型，利用測試深度學(xué)習(xí)模型對圖像進行測試以篩選能夠正確識別的圖像組成干凈圖像數(shù)據(jù)集；

(2)從所述干凈圖像數(shù)據(jù)集中隨機選擇若干圖像作為測試種子圖像，并對測試種子圖像添加初始擾動；

(3)將添加擾動的圖像輸入至待測試深度學(xué)習(xí)模型獲得預(yù)測標(biāo)簽，依據(jù)添加擾動最小化和預(yù)測標(biāo)簽與真實標(biāo)簽不同構(gòu)建的適應(yīng)度函數(shù)來選擇圖像作為父輩，并進行交叉產(chǎn)生子代圖像，對子代圖像添加擾動以進行變異；