[發明專利]提升圖像分類網絡模型魯棒性的損失函數方法及系統

有效

• 申請號: 202210259849.5
• 申請日: 2022-03-16
• 公開（公告）號: CN114611694B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 趙洪田;鄭世寶;王玉
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62;G06N3/04;G06V10/774;G06V10/764
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 郭國中

1.一種提升圖像分類網絡模型魯棒性的損失函數方法，其特征在于，所述方法包括如下步驟：

步驟S1：對Softmax損失函數和Modified Softmax的等值面做分析，最初的Softmax損失函數整體的線性變換表示為p＝Wy+b，y＝N(x)∈R^L,其中L為類別數，N(·)為主干網絡非線性特征提取函數變換,x為神經網絡學習到的特征向量，y＝[y₁,y₂,…,y_L]^T為一個非線性變換后的特征向量，p為將特征向量y作為輸入，將線性層網絡參數W,b分別作為線性變換的權重和偏置的線性變換的結果；將上式L_i中中間變量p_i使用向量模長和角度表示形式為Softmax等價表示為其中為待求概率值的特征向量與權重向量之間的夾角，對L_i參數向量的模長和偏差加入約束，即使權重矩陣W模長為1，偏置向量b為0，令損失函數值為一常數C，則關于角度化模型參數方程表示為：

步驟S2：將步驟S1中方程進行簡化得到屬于Log-Sum-Exp函數范疇，它的值為對最大函數的逼近，令獲得

步驟S3：對做分析和驗證，在做識別或分類時，在使用線性映射函數推理時，當類內角度間距大于類間角度間距時，說明模型對樣本做出正確預測，反之，模型不能對樣本做出正確預測；

步驟S4：通過上述分析，得出通過提升樣本在特征空間的密度，不同類別特征的可區分性，由步驟S3中對類內角間距和類間角間距定義不同闕值函數分別進行逆向求解，將類內角間距和類間角間距函數統一為關于等值面的優化目標，并分別定義為L_I,L_O,由步驟S3衍生出的方程為

步驟S5：對步驟S4中方程組進行求解，得到設計訓練神經網絡的損失函數為L＝L_a+k₁L_I+k₂L_O，其中L_a設置為常規損失設計，k₁,k₂分別為超參數；

步驟S6：利用主干深度神經網絡及訓練圖片獲得預測標簽，將預測標簽和輸入樣本標簽計算通過步驟S5獲得的損失函數計算損失并通過鏈式法則計算梯度值，根據梯度值更新神經網絡參數，主干深度神經網絡選擇ResNet34,ResNet50,ResNet101,ResNet150；

步驟S7：循環步驟S6中模型，以及利用步驟S5中損失函數誘導更新參數，根據loss，accuracy，recall，F1指標值訓練直至模型收斂,即獲得魯棒的圖像分類網絡模型。

2.根據權利要求1所述的提升圖像分類網絡模型魯棒性的損失函數方法，其特征在于，所述步驟S1依次對Softmax損失函數和Softmax變種損失函數的提取特征做分析，使用MINIST手寫字體識別數據集作為訓練和測試數據集，針對不同分類任務使用對應類型的數據集完成模型訓練和部署，依次使用Softmax and Cross-Entropy和SphereFace Loss作為損失函數和潛在變換層，使用經典卷積神經網絡作為主干網絡，得到分類訓練和測試可視化網絡。

3.根據權利要求1所述的提升圖像分類網絡模型魯棒性的損失函數方法，其特征在于，所述步驟S4中的方程組中的‖y‖為樣本向量模，為樣本特征向量與同類樣本權重向量的角度距離，為樣本特征向量與其他類樣本權重向量的最小角度距離，L_I為待優化的類內角度距離目標損失，L_O為待優化的類間角度距離目標損失。

4.根據權利要求1所述的提升圖像分類網絡模型魯棒性的損失函數方法，其特征在于，所述步驟S6中深度神經網絡對輸入圖像提取特征后，經特征映射函數將圖像映射到潛在的特征空間，潛在特征空間中的特征經過線性映射層對圖像獲取圖像預測值，通過損失函數與輸入圖像標簽結合，經梯度反向傳播更新模型參數。