[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、設(shè)備及計算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011275171.7
• 申請日: 2020-11-13
• 公開（公告）號: CN112381224A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計）人: 張?zhí)煸?/a>;范力欣;吳錦和
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 張志江

1.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括以下步驟：

隨機(jī)初始化待訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并基于輸入數(shù)據(jù)，獲取初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目標(biāo)隨機(jī)參數(shù)；

對所述目標(biāo)隨機(jī)參數(shù)進(jìn)行量化處理，以獲得量化參數(shù)；

基于所述目標(biāo)隨機(jī)參數(shù)以及所述量化參數(shù)確定量化損失值；

基于所述量化損失值以及所述初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)。

2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述基于所述目標(biāo)隨機(jī)參數(shù)以及所述量化參數(shù)確定量化損失值的步驟包括：

基于所述目標(biāo)隨機(jī)參數(shù)確定第一損失值，并基于所述量化參數(shù)確定第二損失值；

基于所述第一損失值以及所述第二損失值，確定所述量化損失值。

3.如權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述基于所述目標(biāo)隨機(jī)參數(shù)確定第一損失值，并基于所述量化參數(shù)確定第二損失值的步驟包括：

基于所述輸入數(shù)據(jù)以及所述目標(biāo)隨機(jī)參數(shù)，確定第一損失值；

基于所述輸入數(shù)據(jù)以及所述量化參數(shù)，確定第二損失值。

4.如權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述基于所述第一損失值以及所述第二損失值，確定所述量化損失值的步驟包括：

基于所述第一損失值、所述第二損失值以及預(yù)設(shè)合頁損失函數(shù)，確定所述量化損失值。

5.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述對所述目標(biāo)隨機(jī)參數(shù)進(jìn)行量化處理，以獲得量化參數(shù)的步驟包括：

基于所述目標(biāo)隨機(jī)參數(shù)的符號對各個目標(biāo)隨機(jī)參數(shù)進(jìn)行二值量化處理，以獲得所述量化參數(shù)。

6.如權(quán)利要求1至5任一項所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述基于所述量化損失值以及初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)的步驟包括：

獲取初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)對應(yīng)的損失函數(shù)值；

基于所述量化損失值以及所述損失函數(shù)值，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)。

7.如權(quán)利要求6所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述基于所述量化損失值以及所述損失函數(shù)值，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)的步驟包括：

基于所述量化損失值以及所述損失函數(shù)值，確定總損失函數(shù)值；

基于所述總損失函數(shù)值更新初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以獲得更新后的神經(jīng)網(wǎng)絡(luò)，并確定所述總損失函數(shù)值是否小于預(yù)設(shè)損失值；

若所述總損失函數(shù)值小于預(yù)設(shè)損失值，則將更新后的神經(jīng)網(wǎng)絡(luò)作為所述目標(biāo)神經(jīng)網(wǎng)絡(luò)；

若所述總損失函數(shù)值大于或等于預(yù)設(shè)損失值，則將更新后的神經(jīng)網(wǎng)絡(luò)作為初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并返回執(zhí)行基于輸入數(shù)據(jù)，獲取初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目標(biāo)隨機(jī)參數(shù)的步驟。

8.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置，其特征在于，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置包括：

初始化模塊，用于隨機(jī)初始化待訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并基于輸入數(shù)據(jù)，獲取初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目標(biāo)隨機(jī)參數(shù)；

量化模塊，用于對所述目標(biāo)隨機(jī)參數(shù)進(jìn)行量化處理，以獲得量化參數(shù)；

第一確定模塊，用于基于所述目標(biāo)隨機(jī)參數(shù)以及所述量化參數(shù)確定量化損失值；

第二確定模塊，用于基于所述量化損失值以及所述初始化后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)。

9.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備，其特征在于，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的神經(jīng)網(wǎng)絡(luò)訓(xùn)練程序，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練程序被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的步驟。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有神經(jīng)網(wǎng)絡(luò)訓(xùn)練程序，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的步驟。