[發明專利]用于生成多層神經網絡的方法和裝置

有效

• 申請號: 201810478003.4
• 申請日: 2018-05-18
• 公開（公告）號: CN110503181B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 姜志超
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于生成多層神經網絡的方法和裝置。該方法的一具體實施方式包括：將預先獲取到的針對初始多層神經網絡的輸入數據輸入至初始多層神經網絡，得到初始多層神經網絡所包含的層序列中的各個層的初始輸出數據；基于預先獲取到的目標輸出數據，確定目標層子序列中的各個層的目標輸出數據；執行如下更新步驟，以生成新多層神經網絡：針對層序列中的每個層，基于該層的初始輸出數據和該層的目標輸出數據，確定該層的目標權重值，以及將該層的初始權重值更新為該層的目標權重值。該實施方式豐富了多層神經網絡的生成方式，有助于提高多層神經網絡的訓練效率。

技術領域

本申請實施例涉及計算機技術領域，具體涉及用于生成多層神經網絡的方法和裝置。

背景技術

多層神經網絡(Multilayer Perceptron，MLP)，即多層感知器，是一種人工神經網絡，映射一組輸入向量到一組輸出向量。多層神經網絡可以被看作是一個有向圖，由多個節點層組成，每一層全連接到下一層。除了輸入節點，每個節點都是一個帶有非線性激活函數的神經元(或稱處理單元)。

通常情況下，一種被稱為反向傳播算法的監督學習方法可以被用來訓練多層神經網絡。

發明內容

本申請實施例提出了用于生成多層神經網絡的方法和裝置。

第一方面，本申請實施例提供了一種用于生成多層神經網絡的方法，該方法包括：將預先獲取到的針對初始多層神經網絡的輸入數據輸入至初始多層神經網絡，得到初始多層神經網絡所包含的層序列中的各個層的初始輸出數據；基于預先獲取到的目標輸出數據，確定目標層子序列中的各個層的目標輸出數據，其中，預先獲取到的目標輸出數據是與輸入數據對應的、層序列中的最后一層的目標輸出數據，目標層子序列是層序列中除最后一層之外的其他層組成的序列；執行如下更新步驟，以生成新多層神經網絡：針對層序列中的每個層，基于該層的初始輸出數據和該層的目標輸出數據，確定該層的目標權重值，以及將該層的初始權重值更新為該層的目標權重值。

在一些實施例中，基于預先獲取到的目標輸出數據，確定目標層子序列中的各個層的目標輸出數據，包括：基于預先獲取到的目標輸出數據，針對目標層子序列中的每個層，利用啟發法和該層的后一層傳到該層的梯度值，確定該層的目標輸出數據。

在一些實施例中，上述該層的后一層傳到該層的梯度值是基于該層的后一層的目標輸出數據和該層的后一層的損失函數得到的。

在一些實施例中，對于上述目標層子序列中的層，該層的損失函數是關于該層的目標輸出、該層的初始輸出和該層的后一層傳到該層的梯度的函數，其中，該層的目標輸出的取值為該層的目標輸出數據，該層的初始輸出的取值為該層的初始輸出數據，該層的后一層傳到該層的梯度的取值為該層的后一層傳到該層的梯度值。

在一些實施例中，輸入數據是圖像，預先獲取到的目標輸出數據是用于表征輸入的圖像是否包括人臉圖像的檢測結果。

在一些實施例中，上述方法還包括：響應于確定新多層神經網絡的準確度大于預設的準確度閾值，存儲新多層神經網絡。

第二方面，本申請實施例提供了一種用于檢測圖像的方法，該方法包括：獲取待檢測圖像；將待檢測圖像輸入多層神經網絡，生成檢測結果，其中，多層神經網絡是按照上述用于生成多層神經網絡的方法中后兩個實施例中任一實施例的方法生成的。