[發明專利]神經網絡推理方法和系統

有效

• 申請號: 202210289244.0
• 申請日: 2022-03-23
• 公開（公告）號: CN114386588B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 吳春選
• 申請（專利權）人: 杭州雄邁集成電路技術股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F15/78
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 田金霞

1.一種神經網絡推理方法，其特征在于，通過Soc芯片的主處理器調用根據神經網絡量化方法優化的神經網絡制作的優化模型文件，通過所述Soc芯片自帶的協處理器推進執行優化模型文件的網絡層的定點推理過程；

所述神經網絡量化方法，包括以下步驟：

設置神經網絡的推理精度閾值；

分離量化每層輸出特征數據量化參數和每層權重量化參數；

對于神經網絡中的前后關聯層，根據當前層的輸出特征數據量化參數更新輸入層的輸出特征數據量化參數；所述關聯層為輸入、輸出特征數據不發生改變的層；

以所述推理精度閾值為約束條件，根據每層推理浮點值和分離量化后的定點值比對結果，優化輸出特征數據量化參數；

優化輸出特征數據量化參數的方法包括：根據每層輸入輸出數據，推理出每層第一浮點特征值；

根據分離量化后的量化參數，推理出定點特征值，將所述定點特征值轉換成第二浮點特征值，比對所述第一浮點特征值和所述第二浮點特征值，判斷是否滿足所述推理精度閾值，是則確定量化參數，否則調整輸出特征數據的量化參數，保持權重量化參數不變。

2.根據權利要求1所述的神經網絡推理方法，其特征在于，分離量化每層權重量化參數的方法包括：

分析每個網絡層，按層統計數據的浮點數值，進行量化，獲得每層權重量化參數與量化后新的權重文件。

3.根據權利要求1所述的神經網絡推理方法，其特征在于，分離量化每層輸出特征數據量化參數的方法包括：

對每層的輸出特征數據，按每層統計輸出特征數據的浮點數值，進行量化，獲得每層輸出特征數據量化參數。

4.根據權利要求1所述的神經網絡推理方法，其特征在于，所述根據當前層的輸出特征數據量化參數更新輸入層的輸出特征數據量化參數，具體包括：識別關聯層，以當前關聯層的輸出特征數據量化參數更新當前關聯層的輸入層的輸出特征量化參數，使關聯層和其輸入層的輸出特征量化參數保持一致。

5.根據權利要求1所述的神經網絡推理方法，其特征在于，所述優化輸出特征數據量化參數的方法包括：將卷積內部乘加運算后的結果位寬設置為累乘加后結果不超過位寬的最大限制范圍，以所述推理精度閾值為約束條件，根據每層推理浮點值和分離量化后的定點值比對結果，逐步降低位寬提高性能。

6.根據權利要求1所述的神經網絡推理方法，其特征在于，通過所述Soc芯片自帶的協處理器推進執行優化模型文件的網絡層的定點推理過程的方法，具體包括：

非線性的網絡層使用高級語言執行，其他網絡層采用 neon指令執行前向推理過程。

7.一種神經網絡推理系統，其特征在于，包括服務器和Soc芯片，所述服務器包括存儲單元和處理單元，所述Soc芯片包括主處理器和協處理器，

所述處理單元，用于通過權利要求1所述的神經網絡量化方法優化原始模型文件，形成優化模型文件；

所述存儲單元，用于存儲所述優化模型文件；

所述主處理器，用于調用所述優化模型文件；

所述協處理器，用于執行每個網絡層的定點推理過程。