[發明專利]基于TVM面向RISC-V設備的神經網絡編譯方法

有效

• 申請號: 202110839231.1
• 申請日: 2021-07-23
• 公開（公告）號: CN113626035B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 申奧;丁辰辰;黃耿斌;毛偉;余浩
• 申請（專利權）人: 南方科技大學
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06N3/02
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 朱陽波

1.一種基于TVM面向RISC-V設備的神經網絡編譯方法，其特征在于，所述方法包括：

基于待部署神經網絡模型，通過TVM編譯器獲取函數文件、模型計算圖文件以及模型參數文件；

所述基于待部署神經網絡模型，通過TVM編譯器獲取函數文件、模型計算圖文件以及模型參數文件，包括：獲取所述待部署神經網絡模型；基于所述TVM編譯器對所述待部署神經網絡模型進行編譯，獲取Relay中間代碼；基于預設的模型優化策略對所述Relay中間代碼進行優化，獲取優化后的Relay中間代碼；基于所述優化后的Relay中間代碼，編譯獲取與LLVM編譯器對應的中間模型文件，所述中間模型文件包括函數文件、模型計算圖文件以及模型參數文件，其中，所述函數文件是所述LLVM編譯器的中間代碼文件；當基于預設的模型優化策略對所述Relay中間代碼進行優化時，根據不同的待部署神經網絡模型設置不同的模型優化策略，所述模型優化策略包括算子融合、折疊常數和合并并行算子中的一種或多種；

基于所述函數文件獲取RISC-V版本的動態鏈接庫文件，并基于所述動態鏈接庫文件、所述模型計算圖文件以及所述模型參數文件獲取RISC-V版本的目標神經網絡模型；

基于所述RISC-V版本的目標神經網絡模型獲取RISC-V版本的運行時庫文件、RISC-V版本的模型計算代碼以及RISC-V版本的可執行文件；

基于所述RISC-V版本的目標神經網絡模型、所述RISC-V版本的運行時庫文件以及所述RISC-V版本的可執行文件對目標設備進行神經網絡模型部署，其中，所述目標設備為基于RISC-V架構的設備。

2.根據權利要求1所述的基于TVM面向RISC-V設備的神經網絡編譯方法，其特征在于，所述基于所述函數文件獲取RISC-V版本的動態鏈接庫文件，并基于所述動態鏈接庫文件、所述模型計算圖文件以及所述模型參數文件獲取RISC-V版本的目標神經網絡模型，包括：

基于所述LLVM編譯器和底層庫文件將所述函數文件編譯為RISC-V版本的動態鏈接庫文件，其中，所述底層庫文件由RISC-V版本的GNU編譯器提供；

基于所述動態鏈接庫文件、所述模型計算圖文件以及所述模型參數文件獲取RISC-V版本的目標神經網絡模型。

3.根據權利要求1所述的基于TVM面向RISC-V設備的神經網絡編譯方法，其特征在于，所述基于所述RISC-V版本的目標神經網絡模型獲取RISC-V版本的運行時庫文件、RISC-V版本的模型計算代碼以及RISC-V版本的可執行文件，包括：

基于TVM版本的運行時庫文件和所述RISC-V版本的目標神經網絡模型，獲取RISC-V版本的運行時庫文件和RISC-V版本的模型計算代碼；

基于所述RISC-V版本的運行時庫文件和所述RISC-V版本的模型計算代碼編譯獲取RISC-V版本的可執行文件。

4.根據權利要求3所述的基于TVM面向RISC-V設備的神經網絡編譯方法，其特征在于，所述基于所述RISC-V版本的運行時庫文件和所述RISC-V版本的模型計算代碼編譯獲取RISC-V版本的可執行文件，包括：

將所述RISC-V版本的運行時庫文件作為一個標準庫文件，基于RISC-V版本的GNU編譯器對所述RISC-V版本的模型計算代碼進行編譯，獲取RISC-V版本的可執行文件。

5.根據權利要求1所述的基于TVM面向RISC-V設備的神經網絡編譯方法，其特征在于，所述基于所述RISC-V版本的目標神經網絡模型、所述RISC-V版本的運行時庫文件以及所述RISC-V版本的可執行文件對目標設備進行神經網絡模型部署，包括：

將所述RISC-V版本的目標神經網絡模型、所述RISC-V版本的運行時庫文件以及所述RISC-V版本的可執行文件部署到所述目標設備中，并將RISC-V版本的GNU編譯器提供的底層動態鏈接庫文件部署到所述目標設備中。