[發明專利]神經網絡的訓練方法及裝置、計算設備

在審

• 申請號: 201711157050.0
• 申請日: 2017-11-20
• 公開（公告）號: CN107958284A
• 公開（公告）日: 2018-04-24
• 發明（設計）人: 董健;韓玉剛;顏水成
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙)11276
• 代理人: 宋菲,劉云貴

技術領域

本發明涉及深度學習領域，具體涉及一種神經網絡的訓練方法及裝置、計算設備。

背景技術

深度學習源于對人工神經網絡的研究，通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。深度學習是機器學習中一種基于對數據進行表征學習的方法。基于建立、模擬人腦進行分析學習的神經網絡，模仿人腦的機制來解釋數據。深度學習可以用非監督式或半監督式的特征學習和分層特征提取高效算法來替代手工獲取特征。深度學習可以應用于如人臉檢測、人臉識別、場景分析等多種應用中。隨著深度學習的發展，深度學習的應用也越來越廣泛。

應用深度學習的網絡的速度越快，其準確率越高，其性能越好。如使用深層網絡(云端服務器等)進行深度學習時，其可以提供給深度學習較佳的環境支持，擬合能力較佳。但當使用淺層網絡(如移動設備)進行深度學習時，受其本身環境的限制，計算能力有限、擬合能力較差，通常無法得到較好的性能。

因此，需要一種神經網絡的訓練方法，以便提升使用淺層網絡時深度學習的性能。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的神經網絡的訓練方法及裝置、計算設備。

根據本發明的一個方面，提供了一種神經網絡的訓練方法，其包括：

將輸入數據輸入至經訓練得到的第一神經網絡中，獲得第一神經網絡的至少一層第一中間層的輸出數據；

將輸入數據輸入至待訓練的第二神經網絡中，獲得第二神經網絡的至少一層第二中間層的輸出數據以及最終輸出數據，至少一層第二中間層與至少一層第一中間層具有對應關系；

利用至少一層第二中間層的輸出數據與至少一層第一中間層的輸出數據之間的損失，以及最終輸出數據與預標注的輸出數據之間的損失，對第二神經網絡進行訓練。

可選地，第一神經網絡的層數多于第二神經網絡。

可選地，至少一層第一中間層包含第一神經網絡的瓶頸層；至少一層第二中間層包含第二神經網絡的瓶頸層。

可選地，利用至少一層第二中間層的輸出數據與至少一層第一中間層的輸出數據之間的損失，以及最終輸出數據與預標注的輸出數據之間的損失，對第二神經網絡進行訓練進一步包括：

根據至少一層第二中間層的輸出數據與至少一層第一中間層的輸出數據之間的損失更新第二神經網絡的權重參數，根據最終輸出數據與預標注的輸出數據之間的損失更新第二神經網絡的權重參數，對第二神經網絡進行訓練。

可選地，在將輸入數據輸入至待訓練的第二神經網絡中，獲得第二神經網絡的至少一層第二中間層的輸出數據以及最終輸出數據之前，方法還包括：

將輸入數據進行下采樣處理，將處理后的數據作為第二神經網絡的輸入數據。

可選地，利用至少一層第二中間層的輸出數據與至少一層第一中間層的輸出數據之間的損失，以及最終輸出數據與預標注的輸出數據之間的損失，對第二神經網絡進行訓練進一步包括：

利用至少一層第二中間層的輸出數據與至少一層第一中間層的輸出數據之間的損失，以及最終輸出數據與對下采樣處理后數據的預標注的輸出數據之間的損失，對第二神經網絡進行訓練。

根據本發明的另一方面，提供了一種神經網絡的訓練裝置，其包括：

第一輸出模塊，適于將輸入數據輸入至經訓練得到的第一神經網絡中，獲得第一神經網絡的至少一層第一中間層的輸出數據；

第二輸出模塊，適于將輸入數據輸入至待訓練的第二神經網絡中，獲得第二神經網絡的至少一層第二中間層的輸出數據以及最終輸出數據，至少一層第二中間層與至少一層第一中間層具有對應關系；

訓練模塊，適于利用至少一層第二中間層的輸出數據與至少一層第一中間層的輸出數據之間的損失，以及最終輸出數據與預標注的輸出數據之間的損失，對第二神經網絡進行訓練。

可選地，第一神經網絡的層數多于第二神經網絡。

可選地，至少一層第一中間層包含第一神經網絡的瓶頸層；至少一層第二中間層包含第二神經網絡的瓶頸層。

可選地，訓練模塊進一步適于：

根據至少一層第二中間層的輸出數據與至少一層第一中間層的輸出數據之間的損失更新第二神經網絡的權重參數，根據最終輸出數據與預標注的輸出數據之間的損失更新第二神經網絡的權重參數，對第二神經網絡進行訓練。

可選地，裝置還包括：

下采樣模塊，適于將輸入數據進行下采樣處理，將處理后的數據作為第二神經網絡的輸入數據。

可選地，訓練模塊進一步適于：