[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型的量化方法、設(shè)備及計算機存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010568807.0
• 申請日: 2020-06-19
• 公開（公告）號: CN111814955A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計）人: 周旭亞
• 申請（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 瞿璨

本申請?zhí)峁┮环N神經(jīng)網(wǎng)絡(luò)模型的量化方法、設(shè)備及計算機存儲介質(zhì)。包括：對神經(jīng)網(wǎng)絡(luò)模型輸入訓(xùn)練圖片，進行第一數(shù)據(jù)類型的計算，獲得神經(jīng)網(wǎng)絡(luò)模型中每一計算層的第一輸入數(shù)據(jù)；根據(jù)至少兩種算法獲得每一計算層的至少兩個初始量化因子；基于至少兩個初始量化因子獲得每一計算層量化后的至少兩個第二輸入數(shù)據(jù)；比較每一計算層中第一輸入數(shù)據(jù)和每個第二輸入數(shù)據(jù)的相關(guān)性；將相關(guān)性最大的第二輸入數(shù)據(jù)對應(yīng)的初始量化因子作為計算層的最終量化因子；將最終量化因子輸入神經(jīng)網(wǎng)絡(luò)模型。本申請通過至少兩種算法計算每一計算層的量化因子，并在比較后確定每一計算層的最優(yōu)量化因子，從而提高了整個神經(jīng)網(wǎng)絡(luò)模型的量化精度。

技術(shù)領(lǐng)域

本申請涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別是涉及一種神經(jīng)網(wǎng)絡(luò)模型的量化方法、設(shè)備及計算機存儲介質(zhì)。

背景技術(shù)

目前，常見的神經(jīng)網(wǎng)絡(luò)量化方法是采用同一種算法對所有的卷積層和全連接層的輸入激活值進行量化，但由于輸入激活值的靈活可變性，采用一種算法會導(dǎo)致神經(jīng)網(wǎng)絡(luò)中某一層的誤差變大，又因為網(wǎng)絡(luò)結(jié)構(gòu)的前饋性和復(fù)雜性，進一步導(dǎo)致神經(jīng)網(wǎng)絡(luò)在推理過程中誤差越來越大，最終使神經(jīng)網(wǎng)絡(luò)模型的量化精度較差。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N神經(jīng)網(wǎng)絡(luò)模型的量化方法、設(shè)備及計算機存儲介質(zhì)，主要解決的技術(shù)問題是如何提高神經(jīng)網(wǎng)絡(luò)模型量化精度的問題。

為解決上述技術(shù)問題，本申請?zhí)峁┝艘环N神經(jīng)網(wǎng)絡(luò)模型的量化方法，所述方法包括：

對所述神經(jīng)網(wǎng)絡(luò)模型輸入訓(xùn)練圖片，進行第一數(shù)據(jù)類型的計算，獲得所述神經(jīng)網(wǎng)絡(luò)模型中每一計算層的第一輸入數(shù)據(jù)；

根據(jù)至少兩種算法獲得所述每一計算層的至少兩個初始量化因子；

基于所述至少兩個初始量化因子獲得所述每一計算層量化后的至少兩個第二輸入數(shù)據(jù)；

比較所述每一計算層中第一輸入數(shù)據(jù)和每個第二輸入數(shù)據(jù)的相關(guān)性；

將相關(guān)性最大的第二輸入數(shù)據(jù)對應(yīng)的初始量化因子作為所述計算層的最終量化因子；

將所述最終量化因子輸入所述神經(jīng)網(wǎng)絡(luò)模型。

根據(jù)本申請?zhí)峁┑囊粚嵤┓绞剑龇椒ㄟ€包括：

將所述計算層之后的數(shù)據(jù)歸一層合并至所述計算層以進行計算。

根據(jù)本申請?zhí)峁┑囊粚嵤┓绞剑鲇嬎銓影ň矸e層和全連接層；所述方法還包括：

將所述卷積層、全連接層的前一層的輸出數(shù)據(jù)類型設(shè)置為第二數(shù)據(jù)類型。

根據(jù)本申請?zhí)峁┑囊粚嵤┓绞剑龇椒ㄟ€包括：

將所述非計算層的前一層的輸出數(shù)據(jù)類型設(shè)置為第二數(shù)據(jù)類型。

根據(jù)本申請?zhí)峁┑囊粚嵤┓绞剑隽炕蜃影?quán)重量化因子和輸入量化因子；所述將所述最終量化因子輸入所述神經(jīng)網(wǎng)絡(luò)模型，包括：

將所述計算層的輸入量化因子傳輸至前一層，使得所述前一層的輸出數(shù)據(jù)為第二數(shù)據(jù)類型。

根據(jù)本申請?zhí)峁┑囊粚嵤┓绞剑龅谝粩?shù)據(jù)類型為浮點類型，所述第二數(shù)據(jù)類型為定點類型。

根據(jù)本申請?zhí)峁┑囊粚嵤┓绞剑鰧⑺鲎罱K量化因子輸入所述神經(jīng)網(wǎng)絡(luò)模型，還包括：

根據(jù)所述權(quán)重量化因子計算得到量化權(quán)重值，將所述量化權(quán)重值輸入所述神經(jīng)網(wǎng)絡(luò)模型。

根據(jù)本申請?zhí)峁┑囊粚嵤┓绞剑鰧⑺鲎罱K量化因子輸入所述神經(jīng)網(wǎng)絡(luò)模型，包括：

根據(jù)所述量化因子將所述計算層的偏置值轉(zhuǎn)換為所述計算層的輸出數(shù)據(jù)類型。

為解決上述技術(shù)問題，本申請?zhí)峁┝艘环N終端設(shè)備，所述設(shè)備包括存儲器以及與所述存儲器耦接的處理器；