[發明專利]神經網絡參數定點化方法、裝置、系統和計算機可讀介質

在審

• 申請號: 201710657697.3
• 申請日: 2017-08-03
• 公開（公告）號: CN108875921A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 周舒暢;何欽堯;郭嘉丞
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

1.一種神經網絡參數定點化方法，其特征在于，所述方法包括：

將神經網絡的每一層的參數集合均等地劃分到N個區間，其中N為大于等于2的整數；以及

對所述N個區間對應的參數做定點處理以生成與每個區間對應的定點參數，并將所述定點參數更新至所述神經網絡。

2.根據權利要求1所述的方法，其特征在于，所述將神經網絡的每一層的參數集合均等地劃分到N個區間包括：

計算所述神經網絡的每一層的參數集合的各分位數；

基于所述各分位數確定將所述參數集合均等劃分的N個區間；以及

將所述參數集合均等地劃分到所確定的N個區間。

3.根據權利要求2所述的方法，其特征在于，所述計算所述神經網絡的每一層的參數集合的各分位數包括：

基于待生成的定點參數的位數確定所述N的取值；

基于所述N的取值確定需要計算的所述神經網絡的每一層的參數集合的分位數的個數；以及

基于所確定的所述分位數的個數計算所述各分位數。

4.根據權利要求3所述的方法，其特征在于，所述N的取值通過公式N＝2^k來計算，其中k為待生成的定點參數的位數。

5.根據權利要求2所述的方法，其特征在于，所述將所述參數集合均等地劃分到所確定的N個區間包括：

當N等于2時，計算所述神經網絡的每一層的參數集合的中位數以將所述參數集合均等地劃分到兩個區間；以及

當N大于2時，分別計算所述兩個區間內的子參數集的各自的中位數以將所述參數集合均等地劃分到四個區間，如此遞歸操作直到將所述參數集合均等地劃分到所述N個區間。

6.根據權利要求1所述的方法，其特征在于，所述將神經網絡的每一層的參數集合均等地劃分到N個區間還包括：

將所述N個區間中的參數線性映射到[0,1]之間的均勻分隔的N個區間中。

7.根據權利要求6所述的方法，其特征在于，所述將所述N個區間中的參數線性映射到[0,1]之間的均勻分隔的N個區間中包括：

基于所述N的取值確定所述N個區間各自被映射到[0,1]之間的區間后各自所在區間的端點；

基于所述N個區間各自被映射到[0,1]之間的區間后各自所在區間的端點以及所述N個區間的各自區間內所包括參數的最小值和最大值計算所述N個區間各自的線性映射參數；以及

基于所述線性映射參數將所述N個區間中的參數線性映射到[0,1]之間的均勻分隔的N個區間中。

8.根據權利要求6所述的方法，其特征在于，所述對所述N個區間對應的參數做定點處理以生成與每個區間對應的定點參數包括：

對經過線性映射到[0,1]之間的N個區間對應的參數進行定點處理以得到離散的定點參數。

9.根據權利要求1-8中的任一項所述的方法，其特征在于，所述方法還包括：

使用定點參數對所述神經網絡進行訓練并進行梯度計算。

10.一種神經網絡參數定點化裝置，其特征在于，所述裝置包括：

均勻分割模塊，用于將神經網絡的每一層的參數集合均等地劃分到N個區間，其中N為大于等于2的整數；以及

定點化處理模塊，用于對所述N個區間對應的參數做定點處理以生成與每個區間對應的定點參數，并將所述定點參數更新至所述神經網絡。

11.一種神經網絡參數定點化系統，其特征在于，所述系統包括存儲裝置和處理器，所述存儲裝置上存儲有由所述處理器運行的計算機程序，所述計算機程序在被所述處理器運行時執行如權利要求1-9中的任一項所述的神經網絡參數定點化方法。

12.一種計算機可讀介質，其特征在于，所述計算機可讀介質上存儲有計算機程序，所述計算機程序在運行時執行如權利要求1-9中的任一項所述的神經網絡參數定點化方法。