[發明專利]一種神經網絡初始化方法、裝置、可讀介質及存儲控制器

在審

• 申請號: 201710756629.2
• 申請日: 2017-08-29
• 公開（公告）號: CN107506829A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 張旭;段成德;于治樓
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 李世喆

1.一種神經網絡初始化方法，其特征在于，包括：

根據待訓練神經網絡的結構以及權重值數量，構建離散神經網絡，并確定所述離散神經網絡對應的權重值的取值范圍；

在確定出的所述取值范圍內，確定當前離散訓練值；

利用所述離散神經網絡，確定與所述當前離散訓練值對應的梯度值；

確定所述梯度值是否不大于預設第一閾值；

如果是，根據所述當前離散訓練值，確定全局最優離散權重參數；

將確定出的所述最優離散權重參數賦值給所述待訓練神經網絡，利用所述全局最優離散權重參數，對所述待訓練神經網絡進行訓練。

2.根據權利要求1所述的方法，其特征在于，

當確定出所述當前離散訓練值對應的梯度值大于預設第一閾值時，進一步包括：

根據所述離散神經網絡的梯度方向，在所述取值范圍中，確定臨近離散訓練值；

將所述臨近離散訓練值作為當前離散訓練值，執行所述利用所述離散神經網絡，確定與所述當前離散訓練值對應的梯度值。

3.根據權利要求1所述的方法，其特征在于，

所述根據所述當前離散訓練值，確定全局最優離散權重參數，包括：

利用所述離散神經網絡，確定與所述當前離散訓練值對應的損失值；

確定所述損失值是否小于預設第二閾值，如果是，將所述當前離散訓練值作為所述全局最優離散權重參數。

4.根據權利要求1所述的方法，其特征在于，

所述在確定出的所述取值范圍內，確定當前離散訓練值，包括：

確定離散訓練值的個數；

根據所述離散訓練值的個數，將所述取值范圍劃分為至少兩個取值域；其中，每一個所述取值域對應一個所述離散訓練值；

從各個所述離散訓練值中，選擇所述當前離散訓練值。

5.一種神經網絡初始化裝置，其特征在于，包括：構建單元、確定單元和訓練單元；其中，

所述構建單元，用于根據待訓練神經網絡的結構以及權重值數量，構建離散神經網絡，并確定所述離散神經網絡對應的權重值的取值范圍；

所述確定單元，用于在確定出的所述取值范圍內，確定當前離散訓練值；利用所述離散神經網絡，確定與所述當前離散訓練值對應的梯度值；確定所述梯度值是否不大于預設第一閾值；如果是，根據所述當前離散訓練值，確定全局最優離散權重參數；

所述訓練單元，用于將確定出的所述最優離散權重參數賦值給所述待訓練神經網絡，利用所述全局最優離散權重參數，對所述待訓練神經網絡進行訓練。

6.根據權利要求5所述的裝置，其特征在于，

所述確定單元，進一步用于當確定出所述當前離散訓練值對應的梯度值大于預設第一閾值時，根據所述離散神經網絡的梯度方向，在所述取值范圍中，確定臨近離散訓練值；將所述臨近離散訓練值作為當前離散訓練值，執行所述利用所述離散神經網絡，確定與所述當前離散訓練值對應的梯度值。

7.根據權利要求5所述的裝置，其特征在于，

所述確定單元，用于利用所述離散神經網絡，確定與所述當前離散訓練值對應的損失值；確定所述損失值是否小于預設第二閾值，如果是，將所述當前離散訓練值作為所述全局最優離散權重參數。

8.根據權利要求5所述的裝置，其特征在于，

所述確定單元，用于確定離散訓練值的個數；根據所述離散訓練值的個數，將所述取值范圍劃分為至少兩個取值域；其中，每一個所述取值域對應一個所述離散訓練值；從各個所述離散訓練值中，選擇所述當前離散訓練值。

9.一種可讀介質，包括執行指令，當存儲控制器的處理器執行所述執行指令時，所述存儲控制器執行權利要求1至4任一所述的方法。

10.一種存儲控制器，包括：處理器、存儲器和總線；所述存儲器用于存儲執行指令，所述處理器與所述存儲器通過所述總線連接，當所述存儲控制器運行時，所述處理器執行所述存儲器存儲的所述執行指令，以使所述存儲控制器執行權利要求1至4任一所述的方法。