[發明專利]神經網絡優化方法及裝置、電子設備和存儲介質

有效

• 申請號: 201811341293.4
• 申請日: 2018-11-12
• 公開（公告）號: CN109635920B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 周東展;周心池;張學森;伊帥;閆俊杰
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種神經網絡優化方法，其特征在于，包括：

獲取第一圖像數據集，所述第一圖像數據集包括多個圖像；

利用所述第一圖像數據集對初始神經網絡模型進行訓練，以從備選的多種連接方式中選擇出所述初始神經網絡模型中各初始模塊之間適配的連接方式，其中，所述備選的多種連接方式包括不連接、以及連接多個備選模塊中的任意一個備選模塊，所述備選模塊用于連接在任意的兩個初始模塊之間；

基于確定的各初始模塊之間的連接方式構建第一神經網絡模型；

對所述第一神經網絡模型進行參數優化，得到優化后的神經網絡模型；

所述利用所述第一圖像數據集對初始神經網絡模型進行訓練，以從備選的多種連接方式中選擇出所述初始神經網絡模型中各初始模塊之間適配的連接方式，包括：

為所述初始神經網絡模型中的各初始模塊設定第一連接矩陣，所述第一連接矩陣由針對各初始模塊之間的不同連接方式的第一概率構成；

基于所述第一連接矩陣和所述第一圖像數據集，對所述初始神經網絡模型進行訓練，利用第一預測結果與真實結果之間的第一損失值反饋調整第一連接矩陣內的各概率值，直至得到在第一預測結果對應的第一損失值滿足要求時各初始模塊之間的第二連接矩陣，所述第一預測結果為所述初始神經網絡模型對所述第一圖像數據集中圖像的預測結果，所述第二連接矩陣由訓練得到的各初始模塊之間的不同連接方式的第二概率構成；

將所述第二連接矩陣中針對任意兩個初始模塊之間的各連接方式中第二概率最大的連接方式確定為該任意兩個初始模塊之間適配的連接方式。

2.根據權利要求1所述的方法，其特征在于，所述第一圖像數據集中還包括與各圖像關聯的標識，所述基于所述第一連接矩陣和所述第一圖像數據集，對所述初始神經網絡模型進行訓練，得到在第一預測結果對應的第一損失值滿足要求時各初始模塊之間的第二連接矩陣，包括：

利用所述第一連接矩陣中針對各初始模塊之間的連接方式中第一概率最大的連接方式構建第二神經網絡模型；

將所述第一圖像數據集輸入至第二神經網絡模型，得到針對所述第一圖像數據集中各圖像的標識的第一預測結果；

利用第一損失函數獲得所述第一圖像數據集中各圖像的標識的第一預測結果與對應的第一損失值，并根據所述第一損失值調整所述第一連接矩陣中的各第一概率，直至獲得的第一損失值滿足第一要求時將對應的第一連接矩陣確定為第二連接矩陣。

3.根據權利要求2所述的方法，其特征在于，所述第一損失函數包括：額外角度邊際損失函數或者邊際余弦損失函數。

4.根據權利要求1-3中任意一項所述的方法，其特征在于，所述第一連接矩陣為高斯矩陣，所述第一連接矩陣的行數為所述第一連接矩陣的列數為m，m為連接方式的數量，n為初始神經網絡模型中初始模塊的數量，為從初始模塊中選擇出兩個初始模塊的組合數。

5.根據權利要求1-3中任意一項所述的方法，其特征在于，所述對所述第一神經網絡模型進行參數優化，得到優化后的神經網絡模型，包括：

將第二圖像數據集輸入至第一神經網絡模型，并利用所述第一神經網絡模型得到針對所述第二圖像數據集中各圖像的標識的第二預測結果，所述第二圖像數據集包括多個圖像以及與各圖像關聯的標識；

利用第二損失函數獲得所述第二圖像數據集中各圖像的標識的第二預測結果對應的第二損失值，并根據所述第二損失值調整所述第一神經網絡模型的參數，直至獲得的第二損失值滿足第二要求時將對應的第一神經網絡模型確定為優化后的神經網絡模型。

6.根據權利要求5所述的方法，其特征在于，所述第二損失函數包括：額外角度邊際損失函數或者邊際余弦損失函數。

7.根據權利要求5所述的方法，其特征在于，所述第一圖像數據集和第二圖像數據集相同或不同。

8.根據權利要求1-3中任意一項所述的方法，其特征在于，所述獲取第一圖像數據集包括：

從至少一個數據庫中選擇出多個標識；

從每個標識對應的圖像中選擇出多個圖像；

基于所述多個標識以及對應的所述多個圖像形成所述第一圖像數據集。