[發明專利]深度神經網絡的訓練方法和裝置

在審

• 申請號: 201810554459.4
• 申請日: 2018-05-31
• 公開（公告）號: CN109902798A
• 公開（公告）日: 2019-06-18
• 發明（設計）人: 張煒晨;歐陽萬里;徐東;李文;吳小飛;劉健莊;錢莉
• 申請（專利權）人: 華為技術有限公司;悉尼大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種深度神經網絡的訓練方法，其特征在于，包括：

提取源領域數據和目標領域數據中各樣本數據的低層特征和高層特征，所述目標領域數據與所述源領域數據的數據分布不同；

基于所述源領域數據和所述目標領域數據中各樣本數據的高層特征和對應的領域標簽，通過第一損失函數分別計算各樣本數據對應的第一損失；

基于所述源領域數據和所述目標領域數據中各樣本數據的低層特征和對應的領域標簽，通過第二損失函數分別計算各樣本數據對應的第二損失；

基于所述源領域數據中的樣本數據的高層特征和對應的樣本標簽，通過第三損失函數計算所述源領域數據中的樣本數據對應的第三損失；

根據所述第一損失、所述第二損失和所述第三損失更新目標深度神經網絡的參數，其中所述第一損失的梯度經過梯度反向，所述梯度反向可實現反向傳導梯度使損失變大。

2.根據權利要求1所述的訓練方法，其特征在于，所述目標深度神經網絡包括特征提取模塊、任務模塊、域不變性特征模塊和域區分性特征模塊，所述特征提取模塊包括至少一個低層特征網絡層和高層特征網絡層，所述至少一個低層特征網絡層中的任一個低層特征網絡層可用于提取低層特征，所述高層特征網絡層用于提取高層特征，所述域不變性特征模塊用于增強所述特征提取模塊提取的高層特征的領域不變性，所述域區分性特征模塊用于增強所述特征提取模塊提取的低層特征的領域區分性；

其中，所述根據所述第一損失、所述第二損失和所述第三損失更新目標深度神經網絡的參數包括：

根據所述第一損失、所述第二損失和所述第三損失計算總損失；

根據所述總損失更新所述特征提取模塊的參數、所述任務模塊的參數、所述域不變性特征模塊的參數和所述域區分性特征模塊的參數。

3.根據權利要求2所述的訓練方法，其特征在于，所述基于所述源領域數據和所述目標領域數據中各樣本數據的高層特征和對應的領域標簽，通過第一損失函數分別計算各樣本數據對應的第一損失，包括：將所述源領域數據和所述目標領域數據中的各樣本數據的高層特征輸入所述域不變性特征模塊得到各樣本數據對應的第一結果；根據所述源領域數據和所述目標領域數據中的各樣本數據對應的第一結果和對應的領域標簽，通過所述第一損失函數分別計算各樣本數據對應的第一損失；

所述基于所述源領域數據和所述目標領域數據中各樣本數據的低層特征和對應的領域標簽，通過第二損失函數分別計算各樣本數據對應的第二損失，包括：將所述源領域數據和所述目標領域數據中的各樣本數據的低層特征輸入所述域區分性特征模塊得到各樣本數據對應的第二結果；根據所述源領域數據和所述目標領域數據中的各樣本數據對應的第二結果和對應的領域標簽，通過所述第二損失函數分別計算各樣本數據對應的第二損失；

所述基于所述源領域數據中的樣本數據的高層特征和對應的樣本標簽，通過第三損失函數計算所述源領域數據中的樣本數據對應的第三損失，包括：將所述源領域數據中的樣本數據的高層特征輸入所述任務模塊得到所述源領域數據中的樣本數據對應的第三結果；基于所述源領域數據中的樣本數據對應的第三結果和對應的樣本標簽，通過第三損失函數計算所述源領域數據中的樣本數據對應的第三損失。

4.根據權利要求2或3所述的訓練方法，其特征在于，所述域不變性特征模塊還包括：梯度反向模塊；

所述訓練方法還包括：

通過所述梯度反向模塊對所述第一損失的梯度進行所述梯度反向。

5.根據權利要求3或4所述的訓練方法，其特征在于，還包括：

將所述目標領域數據中樣本數據的高層特征輸入所述任務模塊，得到對應的預測樣本標簽和對應的置信度；

根據所述目標領域數據中樣本數據對應的置信度從所述目標領域數據中選定目標領域訓練樣本數據，所述目標領域訓練樣本數據為所述目標領域數據中對應的置信度滿足預設條件的樣本數據。

6.根據權利要求5所述的訓練方法，其特征在于，還包括：

根據所述目標領域訓練樣本數據對應的第一結果設置所述目標領域訓練樣本數據的權重。