[發明專利]神經網絡權重離散化方法和系統

有效

• 申請號: 201710530149.4
• 申請日: 2017-07-03
• 公開（公告）號: CN109214502B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 李國齊;鄧磊;吳臻志;裴京
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京華進京聯知識產權代理有限公司 11606
• 代理人: 哈達

1.一種神經網絡權重離散化方法，應用于神經網絡權重離散化系統，其特征在于，所述方法包括：

獲取權重取值范圍和離散權重狀態個數，所述權重取值范圍是指由當前時間步最大權重值和當前時間步最小權重值組成的離散權重取值范圍，所述離散權重狀態個數是指離散權重的狀態的個數；

獲取上一個時間步權重狀態和當前時間步權重增量；

根據所述當前時間步權重增量，利用方向函數，獲取狀態轉移方向；

根據所述上一個時間步權重狀態、所述當前時間步權重增量、所述狀態轉移方向、所述權重取值范圍、所述離散權重狀態個數，獲取當前時間步權重狀態；

所述神經網絡權重離散化系統包括限幅處理器，除法/余數計算器，取絕對值器，取符號器，概率函數查找器，蒙特卡洛采樣器，第一乘法器，第一加法器和第二乘法器；其中，

所述限幅處理器用于獲得當前時間步權重增量；

所述除法/余數計算器根據所述當前時間步權重增量，獲得當前時間步權重增量整步長和當前時間步權重增量余數；

所述取符號器根據所述當前時間步權重增量余數，獲取狀態轉移方向函數；

所述取絕對值器、所述概率函數查找器、所述蒙特卡洛采樣器三者依次串聯，根據所述當前時間步權重增量余數，獲取狀態轉移概率；

所述第一乘法器，所述第一加法器以及所述第二乘法器根據所述狀態轉移方向函數、所述狀態轉移概率、所述當前時間步權重增量整步長和離散相鄰狀態距離值，獲取當前時間步權重狀態，其中，當前時間步權重狀態由以下公式獲得：

W^k+1＝W^k+(κ+D^k⊙P^k)·Δz_N，

W^k+1為所述當前時間步權重狀態，W^k為上一個時間步權重狀態，κ為當前時間步權重增量整步長，D^k為所述狀態轉移方向函數，P^k為所述狀態轉移概率，k為計算次數，Δz_N為離散相鄰狀態距離值，并且，L為權重取值范圍[-L,L]，N是一個給定的非負整數，Δz_N由權重取值范圍[-L,L]和離散權重狀態個數(2^N+1)確定。

2.根據權利要求1所述的神經網絡權重離散化方法，其特征在于，所述獲取上一個時間步權重狀態和當前時間步權重增量，包括：

隨機初始化權重狀態；

根據所述隨機初始化權重狀態和前向輸出誤差進行計算，確定上一個時間步權重狀態；

根據所述上一個時間步權重狀態利用梯度下降算法獲取當前時間步權重增量。

3.根據權利要求1所述的神經網絡權重離散化方法，其特征在于，在所述根據所述當前時間步權重增量，利用方向函數，獲取狀態轉移方向的步驟之后，所述方法還包括：

根據所述當前時間步權重增量、所述權重取值范圍和所述離散權重狀態個數，利用分解函數計算所述當前時間步權重增量整步長；

根據所述當前時間步權重增量整步長確定狀態轉移距離；

則所述根據所述上一個時間步權重狀態、所述當前時間步權重增量、所述狀態轉移方向、所述權重取值范圍、所述離散權重狀態個數，獲取當前時間步權重狀態，還包括：

根據所述上一個時間步權重狀態、所述當前時間步權重增量、所述狀態轉移方向、所述狀態轉移距離、所述權重取值范圍、所述離散權重狀態個數，獲取當前時間步權重狀態。