[發明專利]模型生成方法和裝置

在審

• 申請號: 202010025290.0
• 申請日: 2020-01-10
• 公開（公告）號: CN113128677A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種模型生成方法，包括：通過依次執行多次迭代操作生成用于執行深度學習任務的神經網絡模型；

其中，所述迭代操作包括：

基于當前的獎勵反饋值以及預設的中間監督策略搜索空間確定出預設的神經網絡模型在當前迭代操作中的中間監督策略，其中，所述獎勵反饋值的初始值是預設的數值，所述預設的中間監督策略搜索空間包括在所述預設的神經網絡模型加入的中間損失函數的數量搜索空間和位置搜索空間，所述中間損失函數用于監督所述預設的神經網絡模型中對應位置之前的網絡層的訓練；

基于在當前的迭代操作中確定出的中間監督策略對所述預設的神經網絡模型進行訓練，得到訓練后的神經網絡模型的性能，并根據訓練后的神經網絡模型的性能更新所述獎勵反饋值；

響應于確定獎勵反饋值達到預設的收斂條件或迭代操作的次數達到預設的閾值，停止迭代操作，基于當前迭代操作中訓練后的神經網絡模型的參數生成所述用于執行深度學習任務的神經網絡模型。

2.根據權利要求1所述的方法，其中，所述基于當前的獎勵反饋值，在預設的中間監督策略搜索空間中確定出預設的神經網絡模型在當前迭代操作中的中間監督策略，包括：

基于當前的獎勵反饋值，在所述數量搜索空間內確定出當前迭代操作加入的中間損失函數的數量；

基于所述當前的獎勵反饋值以及搜索出的加入的中間損失函數的數量，在所述位置搜索空間內搜索出當前迭代操作加入的中間損失函數的位置。

3.根據權利要求1或2所述的方法，其中，所述預設的中間監督策略搜索空間還包括加入的中間損失函數的參數搜索空間；

所述基于預設的中間監督策略搜索空間確定出預設的神經網絡模型在當前迭代操作中的中間監督策略，包括：

基于所述數量搜索空間和位置搜索空間確定當前迭代操作中在所述預設的神經網絡模型加入的中間損失函數的目標數量和目標位置；

在所述參數搜索空間內確定出當前迭代操作中在所述預設的神經網絡模型加入的中間損失函數的參數，并基于所確定出的參數構建當前迭代操作中在各目標位置加入的中間損失函數。

4.根據權利要求3所述的方法，其中，所述用于執行深度學習任務的神經網絡模型包括用于檢測目標對象的關鍵點的神經網絡模型；

所述加入的中間損失函數的參數搜索空間包括：關鍵點熱力圖的尺寸參數的搜索空間，所述關鍵點熱力圖中的像素值表征關鍵點落在對應像素位置的置信度。

5.根據權利要求1或2所述的方法，其中，所述訓練后的神經網絡模型的性能按照如下方式得到：

基于所述當前的迭代操作中加入的各中間損失函數在所述神經網絡模型訓練后的損失函數值，確定所述訓練后的神經網絡模型的性能。

6.根據權利要求1或2所述的方法，其中，所述基于當前迭代操作中訓練后的神經網絡模型的參數生成所述用于執行深度學習任務的神經網絡模型，包括：

采用所述當前迭代操作中的中間監督策略，對所述當前迭代操作中訓練后的神經網絡模型進行訓練，得到所述用于執行深度學習任務的神經網絡模型。

7.一種模型生成裝置，包括：生成單元，被配置為通過依次執行多次迭代操作生成用于執行深度學習任務的神經網絡模型；

其中，所述迭代操作包括：

基于當前的獎勵反饋值以及預設的中間監督策略搜索空間確定出預設的神經網絡模型在當前迭代操作中的中間監督策略，其中，所述獎勵反饋值的初始值是預設的數值，所述預設的中間監督策略搜索空間包括在所述預設的神經網絡模型加入的中間損失函數的數量搜索空間和位置搜索空間，所述中間損失函數用于監督所述預設的神經網絡模型中對應位置之前的網絡層的訓練；

基于在當前的迭代操作中確定出的中間監督策略對所述預設的神經網絡模型進行訓練，得到訓練后的神經網絡模型的性能，并根據訓練后的神經網絡模型的性能更新所述獎勵反饋值；

響應于確定獎勵反饋值達到預設的收斂條件或迭代操作的次數達到預設的閾值，停止迭代操作，基于當前迭代操作中訓練后的神經網絡模型的參數生成所述用于執行深度學習任務的神經網絡模型。