[發(fā)明專利]神經網絡推理方法和系統

有效

• 申請?zhí)枺?/td>: 202210289244.0
• 申請日: 2022-03-23
• 公開（公告）號: CN114386588B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 吳春選
• 申請（專利權）人: 杭州雄邁集成電路技術股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F15/78
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 田金霞

本發(fā)明信息處理技術領域的一種神經網絡推理方法和系統，方法包括以下步驟：設置神經網絡的推理精度閾值；分離量化每層輸出特征數據量化參數和每層權重量化參數；對于神經網絡中的前后關聯層，根據當前層的輸出特征數據量化參數更新輸入層的輸出特征數據量化參數；以所述推理精度閾值為約束條件，根據每層推理浮點值和分離量化后的定點值比對結果，優(yōu)化輸出特征數據量化參數。利用Soc芯片中的協處理器執(zhí)行每個網絡層的定點推理過程。本方案在現有的Soc芯片上實現深度神經網絡的推理過程，利用Soc芯片自帶的協處理器實現前向推理過程，減少開發(fā)周期，節(jié)約成本。

技術領域

本發(fā)明涉及信息處理技術領域，尤其涉及神經網絡推理方法和系統。

背景技術

在智能識別、檢測技術領域中，如智能安防領域場景主要涉及檢測人臉，人行與車輛車牌常用于報警功能，對產品成本要求，實時性要求，精度要求比較高的情況下，采用輕量級的深度學習模型，現有的Soc芯片上，只需要實現基本的卷積、線性激勵函數、下采樣、全連接等基本操作。

現有的神經網絡在嵌入式Soc芯片上實現方案，一種是基于ASIC定制電路進行實現，但ASIC設計驗證周期長，成本高，設計完成后無法更改，靈活性差；另一種是基于FPGA進行深度神經網絡嵌入式實現，將Soc與FPGA結合，Soc負責調度，FPGA負責卷積運算，該方案成本過高，編碼需FPGA經驗。

現有的深度神經網絡推理過程中，由于終端設備的算力限制，通常將浮點量化成低精度8bit進行推理，但低精度推理會神經網絡精度下降，現有的辦法是篩選出神經網絡個別層導致精度下降的層，單獨提高這些層推理精度，要么利用于深度神經網絡的混合精度量化策略確定方法和系統，提出基于現有支持量化方法的硬件，自動篩選合適的混合精度量化，兩種方案都要硬件支持不同精度的量化，增加了電路成本。

發(fā)明內容

在智能檢測領域中，對產品實時性要求，精度要求比較高的需求下，本發(fā)明提出了能夠兼顧性能和精度要求的神經網絡量化方法。

具體通過下述技術方案得以實現：

一種神經網絡量化方法，包括以下步驟：

設置神經網絡的推理精度閾值；

分離量化每層輸出特征數據量化參數和每層權重量化參數；

對于神經網絡中的前后關聯層，根據當前層的輸出特征數據量化參數更新輸入層的輸出特征數據量化參數；所述關聯層為輸入、輸出特征數據不發(fā)生改變的層；

以所述推理精度閾值為約束條件，根據每層推理浮點值和分離量化后的定點值比對結果，優(yōu)化輸出特征數據量化參數。

優(yōu)選的，分離量化每層權重量化參數的方法包括：

分析每個網絡層，按層統計數據的浮點數值，進行量化，獲得每層權重量化參數與量化后新的權重文件。

優(yōu)選的，分離量化每層輸出特征數據量化參數的方法包括：

對每層的輸出特征數據，按每層統計輸出特征數據的浮點數值，進行量化，獲得每層輸出特征數據量化參數。

優(yōu)選的，根據每層推理浮點值和分離量化后的定點值比對結果，優(yōu)化輸出特征數據量化參數的具體方法包括：

根據每層輸入輸出數據，推理出每層第一浮點特征值；

根據分離量化后的量化參數，推理出定點特征值，將所述定點特征值轉換成第二浮點特征值，比對所述第一浮點特征值和所述第二浮點特征值，判斷是否滿足所述推理精度閾值，是則確定量化參數，否則調整輸出特征數據的量化參數，保持權重量化參數不變。