[發明專利]支持嵌入式平臺多核并行的CNN網絡推理框架設計方法

在審

• 申請號: 202110647708.6
• 申請日: 2021-06-10
• 公開（公告）號: CN113298259A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 王嘎;楊洋;唐強;韓文俊;丁琳琳
• 申請（專利權）人: 中國電子科技集團公司第十四研究所
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/04;G06N3/08;G06F15/78
• 代理公司: 南京知識律師事務所 32207
• 代理人: 熊敏敏;高嬌陽

1.一種支持嵌入式平臺多核并行的CNN網絡推理框架設計方法，其特征在于，包括：

CNN網絡模型加載：讀取深度學習框架訓練后模型文件，從中提取權值和偏置參數，輸出用指針變量定義的模型權值和偏置參數；

CNN網絡函數封裝：采用向量指令集、匯編語言和C語言將CNN網絡中卷積運算、池化運算、激活運算和全連接運算分別封裝成運算核函數，所述各運算核函數的輸入是所述用指針變量定義的模型權值和偏置，輸出分別是卷積層函數、池化層函數、激活函數、全連接層函數；基于VSIPL標準的基本塊和視圖對象設計，將封裝的卷積層函數、池化層函數、激活函數、全連接層函數，包括函數參數，進行編程接口設計，統一成具有通用神經網絡編程接口的運算核函數；采用所述具有通用神經網絡編程接口的運算核函數搭建CNN網絡推理框架的預測函數；

進行并行化設計：基于多核處理器的多線程機制，將所述CNN網絡推理框架的預測函數作為線程函數，創建多個任務或多個線程，設計線程同步與通信，基于負載均衡原則對輸入的測試數據集進行數據劃分，通過線程綁定函數把各任務或線程綁定到多核處理器的核號；

進行跨平臺設計：根據要部署CNN網絡推理框架的平臺類型，編寫相應的VSIPL靜態庫；將CNN網絡推理框架部署在VxWorks、Linux、Windows、SylixOS或Reworks操作系統。

2.根據權利要求1所述的支持嵌入式平臺多核并行的CNN網絡推理框架設計方法，其特征在于，所述訓練后模型文件是包含模型參數的二進制文件，由控制表頭參數+數據組成；

其中，所述控制表頭參數是整數，控制表頭參數的第1個字是神經網絡層數，第2、3、4個字表示第一層神經網絡模型的權值矩陣維度，第5、6、7個字是第一層池化的維度，第8個字是第一層池化偏置的維度，第9、10、11個字是第二層池化的維度，第12個字是第二層池化偏置的維度；以此類推，直到最后一層神經網絡；

所述數據是根據控制表頭參數的值，依次將第一層直到最后一層神經網絡模型的權值和偏置數據存儲在二進制文件中的數據。

3.根據權利要求1所述的支持嵌入式平臺多核并行的CNN網絡推理框架設計方法，其特征在于，

所述卷積層函數進行一維卷積、二維卷積或三維卷積運算，設置卷積運算的維度、卷積核個數、卷積核大小參數；

所述池化層函數進行一維池化、二維池化或三維池化，設置池化運算的維度、池化類型、間隔、步長；

所述全連接層函數設置權值矩陣的維度；

所述激活函數設置激活函數。

4.根據權利要求1所述的支持嵌入式平臺多核并行的CNN網絡推理框架設計方法，其特征在于，所述基于VSIPL標準的基本塊和視圖對象設計，將封裝的卷積層函數、池化層函數、激活函數、全連接層函數，包括函數參數，進行編程接口設計，統一成具有通用神經網絡編程接口的運算核函數包括：

基于VSIPL計算中間件標準定義基本塊和視圖，將所述CNN網絡模型加載輸出的指針變量綁定為基本塊，并從基本塊提取數據綁定為視圖，視圖是矩陣或者向量；以轉換后的矩陣或向量作為輸入參數，調用所述運算核函數。

5.根據權利要求1所述的支持嵌入式平臺多核并行的CNN網絡推理框架設計方法，其特征在于，所述基于負載均衡原則對輸入的測試數據集進行數據劃分包括：

將輸入的測試數據集平均劃分為N份，N為多核處理器的核數量，創建N個任務或線程，把所述任務或線程綁定在多核處理器的N個核上以數據并行的方式執行。