[發明專利]基于遷移學習的深度神經網絡的訓練方法和裝置

在審

• 申請號: 202010590593.7
• 申請日: 2020-06-24
• 公開（公告）號: CN111783949A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 李興建;熊昊一;安昊哲;竇德景
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種基于遷移學習的深度神經網絡的訓練方法，包括：

獲取待訓練的深度神經網絡，所述深度神經網絡包括預訓練的圖像特征提取網絡和未訓練的圖像處理網絡；

對所述圖像特征提取網絡和圖像處理網絡進行訓練；

在訓練過程中，對所述圖像處理網絡的訓練后參數進行重新調整。

2.根據權利要求1所述的方法，其中，所述在訓練過程中，對所述圖像處理網絡的訓練后參數進行重新調整，包括以下至少一種操作：

對所述圖像處理網絡的訓練后參數進行初始化；

將所述圖像處理網絡的訓練后參數調整為自定義值；

將所述圖像處理網絡的訓練后參數調整為所述圖像處理網絡在歷史訓練時刻的參數。

3.根據權利要求1所述的方法，其中，所述在訓練過程中，對所述圖像處理網絡的訓練后參數進行重新調整，包括：

將所述訓練過程劃分為至少兩段訓練周期；

在相鄰兩段所述訓練周期之間，對所述圖像處理網絡的訓練后參數進行重新調整。

4.根據權利要求1-3任一項所述的方法，其中，所述對所述圖像特征提取網絡和圖像處理網絡進行訓練，包括：

采用反向傳播算法對所述圖像特征提取網絡和圖像處理網絡進行訓練。

5.一種基于遷移學習的深度神經網絡的訓練裝置，包括：

獲取模塊，用于獲取待訓練的深度神經網絡，所述深度神經網絡包括預訓練的圖像特征提取網絡和未訓練的圖像處理網絡；

訓練模塊，用于對所述圖像特征提取網絡和圖像處理網絡進行訓練；

重新調整模塊，用于在訓練過程中，對所述圖像處理網絡的訓練后參數進行重新調整。

6.根據權利要求5所述的裝置，其中，所述重新調整模塊包括以下至少一種單元：

初始化單元，用于對所述圖像處理網絡的訓練后參數進行初始化；

自定義單元，用于將所述圖像處理網絡的訓練后參數調整為自定義值；

歷史時刻單元，用于將所述圖像處理網絡的訓練后參數調整為所述圖像處理網絡在歷史訓練時刻的參數。

7.根據權利要求5所述的裝置，其中，所述重新調整模塊，包括：

劃分單元，用于將所述訓練過程劃分為至少兩段訓練周期；

重新調整單元，用于在相鄰兩段所述訓練周期之間，對所述圖像處理網絡的訓練后參數進行重新調整。

8.根據權利要求5-7任一項所述的裝置，其中，

所述訓練模塊，具體用于采用反向傳播算法對所述圖像特征提取網絡和圖像處理網絡進行訓練。

9.一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-4中任一項所述的一種基于遷移學習的深度神經網絡的訓練方法。

10.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行權利要求1-4中任一項所述的一種基于遷移學習的深度神經網絡的訓練方法。