[發(fā)明專利]人工神經(jīng)網(wǎng)絡(luò)調(diào)整方法和裝置

有效

• 申請?zhí)枺?/td>: 201810402123.6
• 申請日: 2018-04-28
• 公開（公告）號: CN110413255B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: 盛驍;江帆;羅洪
• 申請（專利權(quán)）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06F7/575
• 分類號: G06F7/575;G06N3/063
• 代理公司: 北京展翼知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11452
• 代理人: 張陽

1.一種調(diào)整人工神經(jīng)網(wǎng)絡(luò)(ANN)的直接量化方法，其中所述ANN至少包括多個層，所述方法包括：

獲取經(jīng)訓(xùn)練的浮點神經(jīng)網(wǎng)絡(luò)模型；

對所述浮點神經(jīng)網(wǎng)絡(luò)模型進行定點量化；以及

輸出經(jīng)定點量化的定點神經(jīng)網(wǎng)絡(luò)模型，

其中，將所述浮點神經(jīng)網(wǎng)絡(luò)模型的帶權(quán)重的層中的浮點權(quán)重參數(shù)替換成定點權(quán)重參數(shù)，再使用無標(biāo)注圖片用于所述浮點神經(jīng)網(wǎng)絡(luò)模型中激活值的量化范圍的確定，其中根據(jù)無標(biāo)注圖片中每張測試圖片在每一層輸出的激活值數(shù)值范圍進行針對該層輸出的激活值數(shù)值范圍的定點量化。

2.如權(quán)利要求1所述的方法，其中，對所述浮點神經(jīng)網(wǎng)絡(luò)模型進行定點量化包括：

對所述浮點神經(jīng)網(wǎng)絡(luò)模型多個層的權(quán)重參數(shù)進行定點量化。

3.如權(quán)利要求2所述的方法，其中，對所述浮點神經(jīng)網(wǎng)絡(luò)模型多個層的權(quán)重參數(shù)進行定點量化包括：

對所述浮點神經(jīng)網(wǎng)絡(luò)模型中每個帶權(quán)重的層的權(quán)重分別進行定點量化。

4.如權(quán)利要求2所述的方法，其中，對所述浮點神經(jīng)網(wǎng)絡(luò)模型進行定點量化還包括：

確定針對所述浮點神經(jīng)網(wǎng)絡(luò)模型中多個層輸出的激活值的定點量化規(guī)則。

5.如權(quán)利要求4所述的方法，其中，確定針對所述浮點神經(jīng)網(wǎng)絡(luò)模型中多個層輸出的激活值的定點量化規(guī)則：

將所述浮點神經(jīng)網(wǎng)絡(luò)模型中的浮點權(quán)重參數(shù)替換為定點權(quán)重參數(shù)；

向權(quán)重參數(shù)定點的神經(jīng)網(wǎng)絡(luò)模型中輸入包括多個測試圖的校準(zhǔn)數(shù)據(jù)集；以及

根據(jù)每個測試圖在每一層輸出的激活值確定針對該層輸出的激活值的定點量化規(guī)則。

6.如權(quán)利要求5所述的方法，其中，確定針對所述浮點神經(jīng)網(wǎng)絡(luò)模型中多個層輸出的激活值的定點量化規(guī)則：

對每個測試圖在每一層輸出的激活值進行定點量化，以將經(jīng)定點量化的激活值輸入下一層。

7.如權(quán)利要求6所述的方法，其中，根據(jù)每個測試圖在每一層輸出的激活值確定針對該層輸出的激活值的定點量化規(guī)則包括如下之一：

選擇所述校準(zhǔn)數(shù)據(jù)集中針對該層出現(xiàn)次數(shù)最多的激活值數(shù)值范圍作為針對該層輸出的激活值數(shù)值范圍；

求取所述校準(zhǔn)數(shù)據(jù)集中針對該層輸出的激活值數(shù)值范圍的平均值作為針對該層輸出的激活值數(shù)值范圍；以及

求取所述校準(zhǔn)數(shù)據(jù)集中針對該層輸出的激活值數(shù)值范圍的中位數(shù)作為針對該層輸出的激活值數(shù)值范圍。

8.如權(quán)利要求1-7中任一項所述的方法，其中，進行定點量化包括：

根據(jù)數(shù)據(jù)分布基于已確定的定點位寬來決定所述定點量化的數(shù)值范圍。

9.如權(quán)利要求8所述的方法，其中，所述定點量化的數(shù)值范圍根據(jù)如下策略之一決定：

在確保所有數(shù)據(jù)無溢出的情況下選擇最小的定點量化數(shù)值范圍；

選擇使得所有數(shù)據(jù)量化誤差最小的定點量化數(shù)值范圍，并將超出范圍的數(shù)據(jù)值進行強制等于極值的飽和處理。

10.如權(quán)利要求8所述的方法，其中，所述定點量化是對稱均勻量化。

11.如權(quán)利要求1所述的方法，還包括：

在至少部分包括FPGA、GPU和/或ASIC的定點計算平臺上使用所述定點神經(jīng)網(wǎng)絡(luò)模型執(zhí)行推理。

12.如權(quán)利要求11所述的方法，其中，所述定點量化的位寬由所述FPGA、GPU和/或ASIC規(guī)定的位寬決定。