[發明專利]一種網絡模型部署方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202010663000.5
• 申請日: 2020-07-10
• 公開（公告）號: CN111860817A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 趙紅博;闞宏偉;趙謙謙
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郄晨芳

本發明公開了一種網絡模型部署方法、裝置、設備及計算機可讀存儲介質，該方法包括：獲取采用目標框架得到的網絡模型文件；根據目標框架確定目標解析方式，按照目標解析方式對網絡模型文件進行解析，得到中間文件；利用中間文件得到結構文件，并對結構文件進行格式轉換處理，得到與FPGA設備適配的標準結構文件和控制文件；獲取多個算子編碼，利用多個算子編碼、標準結構文件和控制文件生成比特流文件；將比特流文件存儲在FPGA設備中，完成網絡模型在FPGA設備上的部署；該方法通過兩次轉換，可以實現任一架構的網絡模型在FPGA設備上的快速部署，提高了部署靈活性和部署速度。

技術領域

本發明涉及深度學習技術領域，特別涉及一種網絡模型部署方法、網絡模型部署裝置、網絡模型部署設備及計算機可讀存儲介質。

背景技術

為了提高神經網絡模型的數據處理速度，很多廠商將神經網絡模型部署在FPGA設備上，利用FPGA設備進行高速計算。相關技術將某一框架下的神經網絡模型部署到FPGA設備后，如果想要部署其他框架下的神經網絡模型，則需要很多其他的工作使FPGA設備支持新框架下的神經網絡模型，例如可能需要對FPGA設備進行調整。這使得相關技術部署神經網絡模型時靈活性較差，效率較慢。

因此，如何解決相關技術存在的部署靈活性較差，部署速度較慢的問題，是本領域技術人員需要解決的技術問題。

發明內容

有鑒于此，本發明的目的在于提供一種網絡模型部署方法、網絡模型部署裝置、網絡模型部署設備及計算機可讀存儲介質，解決了相關技術存在的部署靈活性較差，部署速度較慢的問題。

為解決上述技術問題，本發明提供了一種網絡模型部署方法，包括：

獲取采用目標框架得到的網絡模型文件；

根據所述目標框架確定目標解析方式，按照所述目標解析方式對所述網絡模型文件進行解析，得到中間文件；

利用所述中間文件得到結構文件，并對所述結構文件進行格式轉換處理，得到與FPGA設備適配的標準結構文件和控制文件；

獲取多個算子編碼，利用多個所述算子編碼、所述標準結構文件和所述控制文件生成比特流文件；

將所述比特流文件存儲在所述FPGA設備中，完成網絡模型在所述FPGA設備上的部署。

可選地，所述獲取多個算子編碼，包括：

識別所述網絡模型文件中的多種計算算子；

獲取通信算子，對所述通信算子和多種所述計算算子進行編碼，得到多個所述算子編碼。

可選地，所述根據所述目標框架確定目標解析方式，包括：

確定所述網絡模型文件的保存方式；

根據所述目標框架和所述保存方式確定所述目標解析方式。

可選地，所述利用所述中間文件得到結構文件，包括：

對所述中間文件進行網絡層壓縮處理和優化處理，得到優化文件；

根據所述優化文件得到所述結構文件。

可選地，還包括：

利用所述中間文件獲取所述網絡模型文件對應的權重文件；

獲取輸入數據，并將所述輸入數據和所述權重文件發送給所述FPGA設備，以便所述FPGA設備根據所述權重文件對所述輸入數據進行數據處理。

可選地，所述獲取輸入數據，包括：

獲取原始數據；

對所述原始數據進行預處理，得到所述輸入數據。

可選地，還包括：