[發明專利]基于保留動力學過程使用稀疏網絡魯棒地分類圖片的方法

在審

• 申請號: 202210355240.8
• 申請日: 2022-04-06
• 公開（公告）號: CN114692834A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 張巖;鄭鵬飛;謝吉雨;張化鵬;賈曉玉
• 申請（專利權）人: 南京大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/764;G06V10/82;G06K9/62
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

1.基于保留動力學過程使用稀疏網絡魯棒地分類圖片的方法，其特征在于，包括以下步驟：

步驟1，尋找可對抗訓練稀疏網絡；

步驟2，對抗訓練稀疏網絡得到魯棒分類器，完成圖片分類。

2.根據權利要求1所述的方法，其特征在于，步驟1包括：

步驟1-1，取兩個結構相同的神經網絡，一個作為密集網絡，另一個額外維護一個表征稀疏性的二值掩碼作為稀疏網絡；

步驟1-2，根據神經正切核理論，并結合理論推導，通過讓稀疏網絡和與密集網絡的混合神經正切核和網絡輸出逐漸靠近來保留密集網絡的動力學過程；

步驟1-3，將密集網絡與稀疏網絡的混合神經正切核的差異以及對抗樣本的初始網絡輸出差異的加權平均作為損失函數，通過梯度下降法更新稀疏網絡參數，并周期性根據最新的稀疏網絡的參數更新二值掩碼。

3.根據權利要求2所述的方法，其特征在于，步驟1-1包括如下步驟：

二值掩碼的確定與目標稀疏度、參數重要性判定指標和剪枝類型有關：

目標稀疏度，即最終稀疏網絡中保留的參數數量與原始密集網絡的總參數數量之比，也即二值掩碼中元素1的數量占掩碼中所有元素數量的比重；

參數重要性判定指標，即判定參數在整個稀疏網絡中所起作用程度的指標，使用參數的絕對值大小作為參數重要性判定指標；

剪枝類型，依據是否每層的稀疏度都相同，分為逐層剪枝和全局剪枝。

4.根據權利要求3所述的方法，其特征在于，步驟1-2包括如下步驟：

根據神經正切核理論，對抗訓練的動力學過程由如下微分方程表示：

其中d表示微分，t表示訓練輪數，f_t表示t時刻的密集網絡，X為原始輸入圖片，是對抗樣本，η是學習率，是梯度算子，L是損失函數，是混合神經正切核，如下所示：

其中T代表轉置。

5.根據權利要求4所述的方法，其特征在于，步驟1-2中，如果使用均方誤差作為損失函數，則：

其中Y為圖片的標簽，f(X)為網絡函數，則微分方程(1)變成如下形式：

其中θ_t是t時刻的網絡參數。

6.根據權利要求5所述的方法，其特征在于，步驟1-2中，稀疏訓練的動力學方程如下所示：

其中，表示稀疏網絡的網絡函數，為稀疏網絡的對抗樣本。

7.根據權利要求6所述的方法，其特征在于，步驟1-2中，目標函數設計如下：

其中min表示最小化，L_awt是目標函數，|| ||是2-范數，|| ||_F表示frobenious范數θ₀是密集網絡的初始化參數，表示密集網絡，⊙表示逐元素相乘，w是稀疏網絡加掩碼前的參數，m⊙w表示稀疏網絡的參數，f_m⊙w表示稀疏網絡，N為樣本數量，γ²是混合神經正切核的權重，是密集網絡在初始時刻的混合神經正切核，是稀疏網絡的混合神經正切核。