[發(fā)明專利]基于臨界阻尼動量的深度神經(jīng)網(wǎng)絡的訓練方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011521458.3
• 申請日: 2020-12-21
• 公開（公告）號: CN112488309B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設計）人: 王好謙;蔡宇麟;王興政
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/084;G06F18/214;G06F17/16;G06F17/13
• 代理公司: 深圳新創(chuàng)友知識產(chǎn)權代理有限公司 44223
• 代理人: 方艷平

1.一種基于臨界阻尼動量的深度神經(jīng)網(wǎng)絡的訓練方法，其特征在于，包括以下步驟：

S1：開始新一輪的迭代；

S2：輸入一批新圖像，計算神經(jīng)網(wǎng)絡的損失函數(shù)的海塞矩陣的跡，其中所述海塞矩陣是損失函數(shù)對神經(jīng)網(wǎng)絡各參數(shù)的二階導數(shù)所構成的矩陣；

S3：根據(jù)海塞矩陣的跡代入二階微分方程的臨界阻尼解，計算得到神經(jīng)網(wǎng)絡權重參數(shù)的動量系數(shù)；

S4：配合學習率衰減策略，更新神經(jīng)網(wǎng)絡的參數(shù)；

S5：判斷是否所有圖像批次都已計算，如果是，則執(zhí)行步驟S6；如果否，則返回步驟S2；

S6：判斷迭代輪次是否達到最大，如果是，則結束訓練，如果否，則返回步驟S1。

2.根據(jù)權利要求1所述的深度神經(jīng)網(wǎng)絡的訓練方法，其特征在于，步驟S2具體包括：

S21：輸入一批新圖像；

S22：前向傳播，計算神經(jīng)網(wǎng)絡的損失函數(shù)L；

S23：反向傳播，計算神經(jīng)網(wǎng)絡的損失函數(shù)的梯度向量g；

S24：生成拉特馬赫隨機向量v，以計算梯度向量積g^Tv；

S25：根據(jù)梯度向量積g^Tv計算海塞矩陣H與拉特馬赫隨機向量v的乘積；

S26：根據(jù)海塞矩陣H與拉特馬赫隨機向量v的乘積計算海塞矩陣的跡Tr(H)；

S27：判斷海塞矩陣的跡Tr(H)的精度是否符合條件，如果是，則輸出海塞矩陣的跡Tr(H)，如果否，則返回步驟S24。

3.根據(jù)權利要求2所述的深度神經(jīng)網(wǎng)絡的訓練方法，其特征在于，步驟S26具體包括：使用哈特欽森向量積迭代算法以根據(jù)海塞矩陣H與拉特馬赫隨機向量v的乘積計算神經(jīng)網(wǎng)絡的損失函數(shù)的海塞矩陣的跡：

其中，E表示求均值，v為拉特馬赫隨機向量，H為海塞矩陣，下標m表示第m次迭代所得的值，M為所有計算出的拉特馬赫隨機向量v的總個數(shù)。

4.根據(jù)權利要求3所述的深度神經(jīng)網(wǎng)絡的訓練方法，其特征在于，步驟S25具體包括：采用下列反向傳播方式計算海塞矩陣H與拉特馬赫隨機向量v的乘積：

其中，g＝▽_wL為神經(jīng)網(wǎng)絡的損失函數(shù)L的梯度向量，w為神經(jīng)網(wǎng)絡權重參數(shù)向量，且神經(jīng)網(wǎng)絡權重參數(shù)向量w與拉特馬赫隨機向量v的尺寸相同。

5.根據(jù)權利要求3所述的深度神經(jīng)網(wǎng)絡的訓練方法，其特征在于，步驟S27中判斷海塞矩陣的跡Tr(H)的精度是否符合條件具體包括：

根據(jù)下式的控制條件來確定M的取值：

其中，ε為誤差控制閾值，如果上式的控制條件被滿足時，則海塞矩陣的跡Tr(H)的精度符合條件，停止計算，輸出海塞矩陣的跡Tr(H)；否則海塞矩陣的跡Tr(H)的精度不符合條件，繼續(xù)增大M值進行計算；進一步地，ε≤10^-3。

6.根據(jù)權利要求1所述的深度神經(jīng)網(wǎng)絡的訓練方法，其特征在于，步驟S3具體包括：采用下式計算動量系數(shù)：

其中，ρ_k+1、ρ_k分別為第k次、第k-1次迭代計算所得的動量系數(shù)，n為抽取的神經(jīng)網(wǎng)絡權重參數(shù)向量的維數(shù)，α_k為第k次迭代時神經(jīng)網(wǎng)絡的學習率，Tr(H)為神經(jīng)網(wǎng)絡的損失函數(shù)的海塞矩陣的跡。

7.根據(jù)權利要求1所述的深度神經(jīng)網(wǎng)絡的訓練方法，其特征在于，步驟S4具體包括：將步驟S3計算得到的動量系數(shù)ρ_k與初始設定值ρ₀進行比較，如果ρ_k≤ρ₀，則將神經(jīng)網(wǎng)絡迭代所調用的動量系數(shù)設定為ρ_k，然后配合學習率衰減策略，更新神經(jīng)網(wǎng)絡的參數(shù)；否則直接配合學習率衰減策略，更新神經(jīng)網(wǎng)絡的參數(shù)。