[發明專利]神經網絡的訓練方法及裝置、計算設備

在審

• 申請號: 201711157050.0
• 申請日: 2017-11-20
• 公開（公告）號: CN107958284A
• 公開（公告）日: 2018-04-24
• 發明（設計）人: 董健;韓玉剛;顏水成
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙)11276
• 代理人: 宋菲,劉云貴

1.一種神經網絡的訓練方法，其包括：

將所述輸入數據輸入至經訓練得到的第一神經網絡中，獲得第一神經網絡的至少一層第一中間層的輸出數據；

將所述輸入數據輸入至待訓練的第二神經網絡中，獲得第二神經網絡的至少一層第二中間層的輸出數據以及最終輸出數據，所述至少一層第二中間層與所述至少一層第一中間層具有對應關系；

利用所述至少一層第二中間層的輸出數據與所述至少一層第一中間層的輸出數據之間的損失，以及所述最終輸出數據與預標注的輸出數據之間的損失，對第二神經網絡進行訓練。

2.根據權利要求1所述的方法，其中，所述第一神經網絡的層數多于第二神經網絡。

3.根據權利要求1或2所述的方法，其中，所述至少一層第一中間層包含第一神經網絡的瓶頸層；所述至少一層第二中間層包含第二神經網絡的瓶頸層。

4.根據權利要求1-3中任一項所述的方法，其中，所述利用所述至少一層第二中間層的輸出數據與所述至少一層第一中間層的輸出數據之間的損失，以及所述最終輸出數據與預標注的輸出數據之間的損失，對第二神經網絡進行訓練進一步包括：

根據所述至少一層第二中間層的輸出數據與所述至少一層第一中間層的輸出數據之間的損失更新所述第二神經網絡的權重參數，根據所述最終輸出數據與預標注的輸出數據之間的損失更新所述第二神經網絡的權重參數，對第二神經網絡進行訓練。

5.根據權利要求1-4中任一項所述的方法，其中，在所述將所述輸入數據輸入至待訓練的第二神經網絡中，獲得第二神經網絡的至少一層第二中間層的輸出數據以及最終輸出數據之前，所述方法還包括：

將所述輸入數據進行下采樣處理，將處理后的數據作為第二神經網絡的輸入數據。

6.根據權利要求5所述的方法，其中，所述利用所述至少一層第二中間層的輸出數據與所述至少一層第一中間層的輸出數據之間的損失，以及所述最終輸出數據與預標注的輸出數據之間的損失，對第二神經網絡進行訓練進一步包括：

利用所述至少一層第二中間層的輸出數據與所述至少一層第一中間層的輸出數據之間的損失，以及所述最終輸出數據與對所述下采樣處理后數據的預標注的輸出數據之間的損失，對第二神經網絡進行訓練。

7.一種神經網絡的訓練裝置，其包括：

第一輸出模塊，適于將所述輸入數據輸入至經訓練得到的第一神經網絡中，獲得第一神經網絡的至少一層第一中間層的輸出數據；

第二輸出模塊，適于將所述輸入數據輸入至待訓練的第二神經網絡中，獲得第二神經網絡的至少一層第二中間層的輸出數據以及最終輸出數據，所述至少一層第二中間層與所述至少一層第一中間層具有對應關系；

訓練模塊，適于利用所述至少一層第二中間層的輸出數據與所述至少一層第一中間層的輸出數據之間的損失，以及所述最終輸出數據與預標注的輸出數據之間的損失，對第二神經網絡進行訓練。

8.根據權利要求7所述的裝置，其中，所述第一神經網絡的層數多于第二神經網絡。

9.一種計算設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1-6中任一項所述的神經網絡的訓練方法對應的操作。

10.一種計算機存儲介質，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1-6中任一項所述的神經網絡的訓練方法對應的操作。