[發(fā)明專利]基于保留動力學(xué)過程使用稀疏網(wǎng)絡(luò)魯棒地分類圖片的方法

在審

• 申請?zhí)枺?/td>: 202210355240.8
• 申請日: 2022-04-06
• 公開（公告）號: CN114692834A
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計）人: 張巖;鄭鵬飛;謝吉雨;張化鵬;賈曉玉
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/764;G06V10/82;G06K9/62
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 胡建華;于瀚文

本發(fā)明提供了基于保留動力學(xué)過程使用稀疏網(wǎng)絡(luò)魯棒地分類圖片的方法，結(jié)合神經(jīng)正切核理論和對抗訓(xùn)練的動力學(xué)過程，使用對抗攻擊得到稀疏網(wǎng)絡(luò)和密集網(wǎng)絡(luò)的各自的對抗樣本，得到適宜進(jìn)行對抗訓(xùn)練的稀疏網(wǎng)絡(luò)，用稀疏網(wǎng)絡(luò)在圖片集上進(jìn)行對抗訓(xùn)練，得到分類器，實(shí)現(xiàn)對對抗攻擊的有效抵御。本方法得到的稀疏網(wǎng)絡(luò)的性能與原始的密集網(wǎng)絡(luò)性能相當(dāng)，對抗魯棒性優(yōu)于最近提出的Inverse Weight Inheritance2020，且本發(fā)明在初始化時便找到了目標(biāo)稀疏網(wǎng)絡(luò)，不需要像現(xiàn)有方法那樣迭代地進(jìn)行對抗訓(xùn)練?剪枝過程，大大減少了訓(xùn)練時間，因此本發(fā)明優(yōu)于現(xiàn)有的同任務(wù)方法，使得對抗魯棒神經(jīng)網(wǎng)絡(luò)在資源有限設(shè)備上的部署成為可能。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)中圖片分類和對抗訓(xùn)練領(lǐng)域，具體涉及基于保留動力學(xué)過程使用稀疏網(wǎng)絡(luò)魯棒地分類圖片的方法。

背景技術(shù)

深度神經(jīng)網(wǎng)絡(luò)由于其近年來在性能上的巨大提升而被廣泛地用作最先進(jìn)的機(jī)器學(xué)習(xí)分類系統(tǒng)。同時，正如Szegedy所指出的，最先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)通常容易受到對抗樣本的攻擊，這些樣本在人眼里是可以區(qū)分的，但卻可以欺騙分類器做出任意的預(yù)測。這種不理想的特性可能會使深度神經(jīng)網(wǎng)絡(luò)無法應(yīng)用于安全敏感的應(yīng)用中。各種對抗性防御方法隨后被提出，來應(yīng)對對抗樣本的攻擊。然而，大多數(shù)防御方法很快就被新的對抗攻擊方法打破。Madry提出的對抗訓(xùn)練(Aleksander Madry,Aleksandar Makelov,Ludwig Schmidt,Dimitris Tsipras,and Adrian Vladu.Towards deep learn-ing models resistant toadversarial attacks.In International Conference on Learning Representations,2018.)是為數(shù)不多的仍能抵抗對抗性攻擊的方法之一。

另一方面，深度神經(jīng)網(wǎng)絡(luò)經(jīng)常被發(fā)現(xiàn)是高度過度參數(shù)化的。網(wǎng)絡(luò)剪枝已經(jīng)被證明是一種出色的方法，可以大大減少模型的大小。典型的剪枝算法遵循訓(xùn)練-剪枝-微調(diào)的三步走策略，不重要的權(quán)重按照一定的評分策略進(jìn)行剪枝，例如根據(jù)權(quán)重的大小來決定參數(shù)的重要性程度。然而，用繼承的權(quán)重對一個修剪過的模型進(jìn)行微調(diào)，只能得到與用隨機(jī)初始化的權(quán)重訓(xùn)練該模型相當(dāng)或更差的性能，這表明繼承的重要權(quán)重對于微調(diào)不一定有用。

Jaehoon Lee提出，模型輸出的動態(tài)變化可以完全由神經(jīng)切線核(NTK)和初始網(wǎng)絡(luò)輸出來描述。因此，兩個神經(jīng)網(wǎng)絡(luò)之間的動力學(xué)過程差異可以通過其神經(jīng)正切核和初始預(yù)測的差異來量化。基于這一結(jié)果，Tianlin Liu提出了Neural Tangent Transfer(NTT)(參考文獻(xiàn)，Chaoqi Wang,Guodong Zhang,and Roger Grosse.Picking winning ticketsbefore training by preserving gradient flow.In International Conference onLearning Representations,2019)來尋找可訓(xùn)練的稀疏神經(jīng)網(wǎng)絡(luò)，通過控制密集和稀疏網(wǎng)絡(luò)之間的神經(jīng)正切核距離和預(yù)測距離來保留模型輸出的動態(tài)性。

另一方面，F(xiàn)rankle和Carbir在2020年提出了彩票假說(Lottery TicketHypothesis)，它指出對于一個密集網(wǎng)路，總存在一個子網(wǎng)絡(luò)結(jié)構(gòu)，如果單獨(dú)訓(xùn)練，可以達(dá)到與原始網(wǎng)絡(luò)相當(dāng)?shù)男阅堋＿@樣的子網(wǎng)絡(luò)被稱為中獎彩票(winnning ticket)。中獎彩票的存在使得可以從頭開始訓(xùn)練一個具有良好性能的稀疏網(wǎng)絡(luò)。特別是，NTT作為一種預(yù)見性的剪枝方法，在正常訓(xùn)練背景下提供了對彩票假說的驗證。