[發明專利]用于生成多層神經網絡的方法和裝置

有效

• 申請號: 201810478003.4
• 申請日: 2018-05-18
• 公開（公告）號: CN110503181B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 姜志超
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于生成多層神經網絡的方法，包括：

將預先獲取到的針對初始多層神經網絡的輸入數據輸入至所述初始多層神經網絡，得到所述初始多層神經網絡所包含的層序列中的各個層的初始輸出數據，其中，所述輸入數據是圖像；

基于預先獲取到的目標輸出數據，確定目標層子序列中的各個層的目標輸出數據，其中，所述預先獲取到的目標輸出數據是與所述輸入數據對應的、所述層序列中的最后一層的目標輸出數據，所述目標層子序列是所述層序列中除所述最后一層之外的其他層組成的序列，其中，所述預先獲取到的目標輸出數據是用于表征輸入的圖像是否包括人臉圖像的檢測結果；

執行如下更新步驟，以生成新多層神經網絡：針對所述層序列中的每個層，基于該層的初始輸出數據和該層的目標輸出數據，確定該層的目標權重值，以及將該層的初始權重值更新為該層的目標權重值。

2.根據權利要求1所述的方法，其中，所述基于預先獲取到的目標輸出數據，確定目標層子序列中的各個層的目標輸出數據，包括：

基于預先獲取到的目標輸出數據，針對目標層子序列中的每個層，利用啟發法和該層的后一層傳到該層的梯度值，確定該層的目標輸出數據。

3.根據權利要求2所述的方法，其中，所述該層的后一層傳到該層的梯度值是基于該層的后一層的目標輸出數據和該層的后一層的損失函數得到的。

4.根據權利要求3所述的方法，其中，對于所述目標層子序列中的層，該層的損失函數是關于該層的目標輸出、該層的初始輸出和該層的后一層傳到該層的梯度的函數，其中，該層的目標輸出的取值為該層的目標輸出數據，該層的初始輸出的取值為該層的初始輸出數據，該層的后一層傳到該層的梯度的取值為該層的后一層傳到該層的梯度值。

5.根據權利要求1所述的方法，其中，所述方法還包括：

響應于確定所述新多層神經網絡的準確度大于預設的準確度閾值，存儲所述新多層神經網絡。

6.一種用于檢測圖像的方法，包括：

獲取待檢測圖像；

將所述待檢測圖像輸入多層神經網絡，生成檢測結果，其中，所述多層神經網絡是按照權利要求1或5所述的方法生成的。

7.一種用于生成多層神經網絡的裝置，包括：

輸入單元，被配置成將預先獲取到的針對初始多層神經網絡的輸入數據輸入至所述初始多層神經網絡，得到所述初始多層神經網絡所包含的層序列中的各個層的初始輸出數據，其中，所述輸入數據是圖像；

確定單元，被配置成基于預先獲取到的目標輸出數據，確定目標層子序列中的各個層的目標輸出數據，其中，所述預先獲取到的目標輸出數據是與所述輸入數據對應的、所述層序列中的最后一層的目標輸出數據，所述目標層子序列是所述層序列中除所述最后一層之外的其他層組成的序列，其中，所述預先獲取到的目標輸出數據是用于表征輸入的圖像是否包括人臉圖像的檢測結果；

生成單元，被配置成執行如下更新步驟，以生成新多層神經網絡：針對所述層序列中的每個層，基于該層的初始輸出數據和該層的目標輸出數據，確定該層的目標權重值，以及將該層的初始權重值更新為該層的目標權重值。

8.根據權利要求7所述的裝置，其中，所述確定單元，進一步被配置成：

基于預先獲取到的目標輸出數據，針對目標層子序列中的每個層，利用啟發法和該層的后一層傳到該層的梯度值，確定該層的目標輸出數據。

9.根據權利要求8所述的裝置，其中，所述該層的后一層傳到該層的梯度值是基于該層的后一層的目標輸出數據和該層的后一層的損失函數得到的。

10.根據權利要求9所述的裝置，其中，對于所述目標層子序列中的層，該層的損失函數是關于該層的目標輸出、該層的初始輸出和該層的后一層傳到該層的梯度的函數，其中，該層的目標輸出的取值為該層的目標輸出數據，該層的初始輸出的取值為該層的初始輸出數據，該層的后一層傳到該層的梯度的取值為該層的后一層傳到該層的梯度值。