[發(fā)明專(zhuān)利]一種面向邊緣硬件設(shè)備計(jì)算的層間流通數(shù)據(jù)全量化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310270387.1
• 申請(qǐng)日: 2023-03-20
• 公開(kāi)（公告）號(hào): CN116432712A
• 公開(kāi)（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 李盈盈;丁永林;廖湘萍;曹學(xué)成;李煒;呂葛梁
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第五十二研究所
• 主分類(lèi)號(hào): G06N3/048
• 分類(lèi)號(hào): G06N3/048;G06N3/08;G06N3/063;G06F7/544
• 代理公司: 杭州君度專(zhuān)利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

1.一種面向邊緣硬件設(shè)備計(jì)算的層間流通數(shù)據(jù)全量化方法，其特征在于：所述面向邊緣硬件設(shè)備計(jì)算的層間流通數(shù)據(jù)全量化方法，包括：

獲取網(wǎng)絡(luò)模型中各層的權(quán)重值以及輸入所述網(wǎng)絡(luò)模型的特征圖的特征值，通過(guò)量化方法生成各層權(quán)重值量化系數(shù)，以及特征值量化系數(shù)；

對(duì)于第一層，通過(guò)第一層權(quán)重值量化系數(shù)和特征值量化系數(shù)依次對(duì)第一層權(quán)重值和特征值進(jìn)行定點(diǎn)化，對(duì)于其他層，通過(guò)本層權(quán)重值量化系數(shù)對(duì)本層權(quán)重值進(jìn)行定點(diǎn)化；

通過(guò)本層權(quán)重量化系數(shù)和特征值量化系數(shù)對(duì)本層偏置數(shù)據(jù)定點(diǎn)化；

然后再對(duì)本層定點(diǎn)化后的權(quán)重值和特征值進(jìn)行乘累加運(yùn)算，乘累加的結(jié)果與本層定點(diǎn)化后的偏置相加得到定點(diǎn)P位中間數(shù)據(jù)；

最后通過(guò)本層的權(quán)重值量化系數(shù)、本層的特征值量化系數(shù)和下一層的權(quán)重值量化系數(shù)將定點(diǎn)P位中間數(shù)據(jù)反量化為定點(diǎn)M位輸出數(shù)據(jù)，且定點(diǎn)M位輸出數(shù)據(jù)作為下一層定點(diǎn)化后的輸入特征值。

2.如權(quán)利要求1所述的面向邊緣硬件設(shè)備計(jì)算的層間流通數(shù)據(jù)全量化方法，其特征在于：所述通過(guò)量化方法生成各層權(quán)重值量化系數(shù)，以及特征值量化系數(shù)，包括：

量化的一般公式如下：

Q(X,S)＝Clip(Round(X·S))

其中，X表示需量化的張量，S表示量化系數(shù)，Q(X,S)表示量化后的張量，Round表示向上取整，Clip表示截?cái)啵?/p>

使用Q_l表示網(wǎng)絡(luò)模型第l層的浮點(diǎn)輸出，表示第l層量化后反量化的結(jié)果：

Q_l＝A_l*W_l

其中，A_l表示第l層的激活值，W_l表示第l層的權(quán)重值，S_{l_W}表示第l層權(quán)重值的量化系數(shù)，S_{l_F}表示第l層特征值的量化系數(shù)，且A_l，W_l和S_l均為FP32；

量化方法easyquant引入cos相似性對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化：

其中，N表示輸入的樣本數(shù)，表示第i個(gè)樣本的第l層的浮點(diǎn)輸出，表示第i個(gè)樣本的第l層量化后反量化的結(jié)果；

優(yōu)化時(shí)，先特征量化系數(shù)，通過(guò)最大化cos相似性?xún)?yōu)化權(quán)重量化系數(shù)，然后固定權(quán)重量化系數(shù)優(yōu)化特征值量化系數(shù)，如此交替優(yōu)化直到cos值收斂或超出預(yù)定時(shí)間。

3.如權(quán)利要求2所述的面向邊緣硬件設(shè)備計(jì)算的層間流通數(shù)據(jù)全量化方法，其特征在于：所述對(duì)于第一層，通過(guò)第一層權(quán)重值量化系數(shù)和特征值量化系數(shù)依次對(duì)第一層權(quán)重值和特征值進(jìn)行定點(diǎn)化，對(duì)于其他層，通過(guò)本層權(quán)重值量化系數(shù)對(duì)本層權(quán)重值進(jìn)行定點(diǎn)化，包括：

第一層特征值定點(diǎn)化：l1_Int8_F＝l1_Fp32_F*S_{l1_F}；

各層權(quán)重值定點(diǎn)化：l_Int8_W＝l_Fp32_W*S_{l_W}；

其中，S_{l1_F}表示第一層的特征值量化系數(shù)，l1_Int8_F表示第一層特征值定點(diǎn)化后的，l1_Fp32_F表示第一層特征值，S_{l_W}表示第l層的權(quán)重值量化系數(shù)，l_Fp32_W表示第l層權(quán)重值，l_Int8_W表示第l層的權(quán)重值定點(diǎn)化后的。

4.如權(quán)利要求3所述的面向邊緣硬件設(shè)備計(jì)算的層間流通數(shù)據(jù)全量化方法，其特征在于：所述通過(guò)本層權(quán)重量化系數(shù)和特征值量化系數(shù)對(duì)本層偏置數(shù)據(jù)定點(diǎn)化，包括：

各層偏置數(shù)據(jù)定點(diǎn)化：l_Int32_B＝l_Fp32_B*S_{l_F}*S_{l_W}；

其中，S_{l_F}表示第l層的特征值量化系數(shù)，l_Fp32_B表示第l層的浮點(diǎn)偏置數(shù)據(jù)，l_Int32_B表示第l層定點(diǎn)化后的偏置值。