[發明專利]實時生成對抗樣本的深度學習訓練數據增廣方法、裝置、電子設備及介質

有效

• 申請號: 202110786061.5
• 申請日: 2021-07-12
• 公開（公告）號: CN113537466B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 鄧亮;刁藝琦
• 申請（專利權）人: 廣州杰納醫藥科技發展有限公司;廣東杰納醫藥科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種實時生成對抗樣本的深度學習訓練數據增廣方法，其特征在于，包括以下步驟：

S1：將圖像樣本與隨機噪聲輸入至對抗樣本訓練網絡，所述對抗樣本訓練網絡生成對抗樣本；

S2：將對抗樣本輸入至經由正常訓練過程訓練好的深度學習網絡中；

S3：根據深度學習網絡的輸出和標簽計算第一損失函數，根據深度學習網絡的輸出和經標簽混淆后的標簽計算第二損失函數；

S4：利用對抗優化器對第二損失函數進行梯度回傳和對抗樣本訓練網絡參數更新操作，同時對第一損失函數進行一次梯度回傳操作并進行記錄與累加；

S5：重復步驟S1至S4，直至對抗樣本訓練網絡生成的對抗樣本為可用于優化深度學習網絡的數據增廣圖片或深度學習網絡充分學習到該圖像樣本中物體的特征；

S6：由訓練優化器將第一損失函數梯度回傳時記錄與累加得到的參數集合A對深度學習網絡進行一次參數更新；

S7：重復步驟S1至S6，當訓練集中每一圖像樣本至少重復上述步驟一次后，判斷是否達到終止訓練條件；

S8：達到終止訓練條件，終止訓練；

步驟S5中直至對抗樣本訓練網絡生成的對抗樣本為可用于優化深度學習網絡的數據增廣圖片或深度學習網絡充分學習到該圖像樣本中物體的特征，具體為：

若原始圖像經過對抗樣本訓練網絡后生成的對抗樣本，經過深度學習網絡以后被誤識別為經標簽混淆后的標簽，則表示生成的對抗樣本為可用于優化深度學習網絡的數據增廣圖片；

若重復了一定次數以后，第二損失函數不再發生顯著變化，則表示深度學習網絡充分學習到該圖像樣本中物體的特征。

2.根據權利要求1所述的實時生成對抗樣本的深度學習訓練數據增廣方法，其特征在于，所述對抗樣本訓練網絡設置于所述深度學習網絡的輸入層前面，為一個對抗參數層，所述對抗參數層的形狀為B x H x W x C，其中B為訓練的一個批次的圖像數量，H與W對應輸入的訓練圖像的高和寬，C為輸入圖像的通道數，在所述對抗參數層中，輸入圖像首先與對抗參數層參數相加，輸出截取0至255的值，再經過歸一化，轉為浮點數后輸出，此時對抗參數層的參數集合為G。

3.根據權利要求2所述的實時生成對抗樣本的深度學習訓練數據增廣方法，其特征在于，步驟S3中根據深度學習網絡的輸出和經標簽混淆后的標簽計算第二損失函數中，根據深度學習網絡的訓練任務不同，標簽混淆的操作方法包括：

對于單分類任務將one-hot做隨機循環移位操作；

對于多分類任務直接對multi-hot向量取反，或者全部置零；

對于分割任務將標簽掩碼置零，或者做隨機類別變換；

對于文本識別任務將其中的字符變成形狀相似的字符。

4.根據權利要求3所述的實時生成對抗樣本的深度學習訓練數據增廣方法，其特征在于，步驟S4中優化對抗器采用SGD并配以0動量。

5.根據權利要求4所述的實時生成對抗樣本的深度學習訓練數據增廣方法，其特征在于，步驟S7中訓練集中每一圖像樣本至少重復上述步驟一次，應使簡單樣本出現的概率小，而難樣本出現的概率大，所述簡單樣本指經過網絡前向后，輸出的結果極為接近標簽，對網絡訓練起不到較大作用的樣本，所述難樣本為經過數個周期的訓練后，網絡仍然不能很好識別的樣本。

6.根據權利要求5所述的實時生成對抗樣本的深度學習訓練數據增廣方法，其特征在于，所述步驟S7中終止訓練條件，具體包括：

損失函數長時間不降低；

驗證集準確率長時間無明顯提升；

設定固定的數個周期以后停止；

每個周期結束時，對驗證集中的每張圖像做一次對抗擾動和識別，統計其中簡單樣本的比例，當簡單樣本比例達到指定條件時，終止訓練；

驗證集中的樣本對抗后輸出到屏幕顯示，當人工觀察發現對抗樣本在人看來無法識別時，終止訓練。