[發明專利]神經網絡參數定點化方法、裝置、系統和計算機可讀介質

在審

• 申請號: 201710657697.3
• 申請日: 2017-08-03
• 公開（公告）號: CN108875921A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 周舒暢;何欽堯;郭嘉丞
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

本發明提供了一種神經網絡參數定點化方法、裝置、系統和計算機可讀介質，所述方法包括：將神經網絡的每一層的參數集合均等地劃分到N個區間，其中N為大于等于2的整數；以及對所述N個區間對應的參數做定點處理以生成與每個區間對應的定點參數，并將所述定點參數更新至所述神經網絡。根據本發明實施例的神經網絡參數定點化方法、裝置、系統和計算機可讀介質通過對神經網絡參數的分布進行均勻地分割，使得定點數的每個取值大致均衡，從而提高了有效位寬，能夠大幅度提高神經網絡的精度。

技術領域

本發明涉及神經網絡技術領域，更具體地涉及一種神經網絡參數定點化方法、裝置、系統和計算機可讀介質。

背景技術

現有的神經網絡的訓練和預測過程都需要耗費大量的計算量，這限制了它在低功耗設備(如嵌入式設備、移動設備)上的應用。為了降低計算量和功耗，近年來一個常用的方法是，在神經網絡的參數中使用低位寬的定點數來代替浮點數，這樣可以使用快速的位操作來代替耗時的浮點計算。

在過去的方法中，通常需要將浮點數的參數均等地舍入到低位寬的定點數，這之中存在著舍入誤差。此外，通常情況下，神經網絡的參數大致呈鐘形分布，且通常含有較大或較小的極端值。這通常導致了在可能的若干取值當中，參數大量集中于位于中間的取值區間內，而在其他的值上非常稀少，這樣神經網絡中的參數實際上只利用了非常少的可能取值，對于非常有限的位寬的利用不高效。

發明內容

為了解決上述問題提出了本發明。根據本發明一方面，提供了一種神經網絡參數定點化方法，所述方法包括：將神經網絡的每一層的參數集合均等地劃分到N個區間，其中N為大于等于2的整數；以及對所述N個區間對應的參數做定點處理以生成與每個區間對應的定點參數，并將所述定點參數更新至所述神經網絡。

在本發明的一個實施例中，所述將神經網絡的每一層的參數集合均等地劃分到N個區間包括：計算所述神經網絡的每一層的參數集合的各分位數；基于所述各分位數確定將所述參數集合均等劃分的N個區間；以及將所述參數集合均等地劃分到所確定的N個區間。

在本發明的一個實施例中，所述計算所述神經網絡的每一層的參數集合的各分位數包括：基于待生成的定點參數的位數確定所述N的取值；基于所述N的取值確定需要計算的所述神經網絡的每一層的參數集合的分位數的個數；以及基于所確定的所述分位數的個數計算所述各分位數。

在本發明的一個實施例中，所述N的取值通過公式N＝2^k來計算，其中k為待生成的定點參數的位數。

在本發明的一個實施例中，所述將所述參數集合均等地劃分到所確定的N個區間包括：當N等于2時，計算所述神經網絡的每一層的參數集合的中位數以將所述參數集合均等地劃分到兩個區間；以及當N大于2時，分別計算所述兩個區間內的子參數集的各自的中位數以將所述參數集合均等地劃分到四個區間，如此遞歸操作直到將所述參數集合均等地劃分到所述N個區間。

在本發明的一個實施例中，所述將神經網絡的每一層的參數集合均等地劃分到N個區間還包括：將所述N個區間中的參數線性映射到[0,1]之間的均勻分隔的N個區間中。

在本發明的一個實施例中，所述將所述N個區間中的參數線性映射到[0,1]之間的均勻分隔的N個區間中包括：基于所述N的取值確定所述N個區間各自被映射到[0,1]之間的區間后各自所在區間的端點；基于所述N個區間各自被映射到[0,1]之間的區間后各自所在區間的端點以及所述N個區間的各自區間內所包括參數的最小值和最大值計算所述N個區間各自的線性映射參數；以及基于所述線性映射參數將所述N個區間中的參數線性映射到[0,1]之間的均勻分隔的N個區間中。

在本發明的一個實施例中，所述對所述N個區間對應的參數做定點處理以生成與每個區間對應的定點參數包括：對經過線性映射到[0,1]之間的N個區間對應的參數進行定點處理以得到離散的定點參數。