[發(fā)明專利]一種離線量化工具的精度調(diào)優(yōu)方法

在審

• 申請?zhí)枺?/td>: 202110477401.6
• 申請日: 2021-04-29
• 公開（公告）號: CN113408695A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計）人: 張兵;黃明飛;王海濤
• 申請（專利權(quán)）人: 開放智能機器（上海）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海申新律師事務(wù)所 31272
• 代理人: 黨蕾

本發(fā)明提供一種離線量化工具的精度調(diào)優(yōu)方法，涉及深度學(xué)習(xí)領(lǐng)域，包括：步驟S1，判斷深度學(xué)習(xí)模型是否適合第一權(quán)重調(diào)優(yōu)方案：若否，轉(zhuǎn)向步驟S2；若是，根據(jù)第一權(quán)重調(diào)優(yōu)方案對卷積層的權(quán)重和偏置進行調(diào)優(yōu)，以重新賦值得到第一調(diào)優(yōu)模型；步驟S2，用第二權(quán)重調(diào)優(yōu)方案及第一訓(xùn)練數(shù)據(jù)對第一調(diào)優(yōu)模型的各卷積層權(quán)重調(diào)優(yōu)得到量化因子集；步驟S3，將第二訓(xùn)練數(shù)據(jù)輸入第一調(diào)優(yōu)模型，根據(jù)量化因子集計算得到權(quán)重最大值和權(quán)重最小值，對各卷積層的權(quán)重進行截斷，并對第一調(diào)優(yōu)模型中的權(quán)重賦值得到第二調(diào)優(yōu)模型；步驟S4，用離線量化工具對第二調(diào)優(yōu)模型量化得到量化模型。本技術(shù)方案聯(lián)用多種權(quán)值調(diào)優(yōu)方案對網(wǎng)絡(luò)模型進行量化調(diào)優(yōu)，提升了深度學(xué)習(xí)模型的精度。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)領(lǐng)域，尤其涉及一種離線量化工具的精度調(diào)優(yōu)方法。

背景技術(shù)

隨著AI技術(shù)的不斷發(fā)展，目前基于深度學(xué)習(xí)算法的模型已經(jīng)在端側(cè)部署端進行了大量的應(yīng)用。為了考慮到受限于端側(cè)設(shè)備的成本，功耗，性能等問題，越來越多的研發(fā)人員投入到如何在不損失原模型精度的情況下，進行模型的壓縮，量化使其能高精度，高性能的在端側(cè)設(shè)備運行，更好的符合落地場景的要求。

目前，現(xiàn)有的量化工具只支持一種或者兩種量化調(diào)優(yōu)算法來對模型進行精度調(diào)優(yōu)提升，例如KLD，EasyQuant，DFQ以及MinMax等。并且在市場的端側(cè)設(shè)備影響下，主要集中于從FP32模型到INT8模型的量化調(diào)優(yōu)。若只使用單一量化算法，當(dāng)遇到存有離散型權(quán)重分布較廣的卷積層模型時，量化結(jié)果并不理想。

市場上的模型量化工具針對檢測網(wǎng)絡(luò)量化部分支持有限，無法做到普適性。因此，如何對現(xiàn)有的離線量化工具進行優(yōu)化調(diào)優(yōu)是需要解決的問題。

目前常見的模型量化調(diào)優(yōu)策略一般分為三種：方法一，針對模型的輸入輸出進行量化產(chǎn)生量化系數(shù)；方法二，無需外部數(shù)據(jù)，針對模型卷積層中的權(quán)重與斜偏量進行權(quán)重調(diào)優(yōu)；方法三，結(jié)合調(diào)優(yōu)數(shù)據(jù)集，通過前向推理來針對模型的的權(quán)重進行調(diào)優(yōu)截斷；通過以上三種方法可以對模型進行初步的量化調(diào)優(yōu)。方法一是從訓(xùn)練數(shù)據(jù)集中抽取少量并合理的圖片數(shù)據(jù)集進行模型前向推理，并通過此策略來統(tǒng)計出每一層的量化轉(zhuǎn)換因子與零點。方法二則是無需外部數(shù)據(jù)集，通過模型中相鄰卷積的權(quán)重關(guān)系來對權(quán)重進行調(diào)優(yōu)。方法三是模型結(jié)合前向推理過程中的推理的輸入數(shù)據(jù)與權(quán)重關(guān)系來進行權(quán)重調(diào)優(yōu)。

但是，單獨使用上述的方法一、方法二或方法三其中的一種，僅能實現(xiàn)對模型的初步量化調(diào)優(yōu)，而無法保證卷積層模型的精度，量化結(jié)果并不十分理想。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種離線量化工具的精度調(diào)優(yōu)方法，應(yīng)用于一深度學(xué)習(xí)模型，所述深度學(xué)習(xí)模型包括多個卷積層；

所述精度調(diào)優(yōu)方法包括：

步驟S1，根據(jù)所述深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)判斷所述深度學(xué)習(xí)模型是否適合預(yù)先配置的一第一權(quán)重調(diào)優(yōu)方案：

若否，則轉(zhuǎn)向步驟S2；

若是，則根據(jù)所述第一權(quán)重調(diào)優(yōu)方案對各所述卷積層的權(quán)重和偏置進行權(quán)重調(diào)優(yōu)，并根據(jù)權(quán)重調(diào)優(yōu)結(jié)果對所述深度學(xué)習(xí)模型的所述權(quán)重和所述偏置進行重新賦值得到一第一調(diào)優(yōu)模型，隨后轉(zhuǎn)向步驟S2；

步驟S2，采用預(yù)先配置的一第二權(quán)重調(diào)優(yōu)方案并根據(jù)預(yù)先獲取的一第一訓(xùn)練數(shù)據(jù)對所述第一調(diào)優(yōu)模型的各所述卷積層的所述權(quán)重進行調(diào)優(yōu)得到所述權(quán)重的量化因子集；

步驟S3，將預(yù)先獲取的一第二訓(xùn)練數(shù)據(jù)輸入所述第一調(diào)優(yōu)模型，并在進行推理之前，根據(jù)所述量化因子集計算得到各所述卷積層對應(yīng)的一權(quán)重最大值和一權(quán)重最小值，以根據(jù)所述權(quán)重最大值和所述權(quán)重最小值對各所述卷積層的所述權(quán)重進行截斷，并根據(jù)截斷得到的所述權(quán)重對所述第一調(diào)優(yōu)模型中的所述權(quán)重進行重新賦值得到一第二調(diào)優(yōu)模型；

步驟S4，將預(yù)先獲取的一第三訓(xùn)練數(shù)據(jù)輸入所述第二調(diào)優(yōu)模型，并采用預(yù)先配置的一離線量化工具對所述第二調(diào)優(yōu)模型進行模型量化得到量化模型。