[發明專利]一種基于OPU的CNN加速方法及系統

有效

• 申請號: 201910192502.1
• 申請日: 2019-03-14
• 公開（公告）號: CN110058883B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 喻韻璇;王銘宇
• 申請（專利權）人: 梁磊
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06F8/41;G06N3/0464
• 代理公司: 成都正煜知識產權代理事務所(普通合伙) 51312
• 代理人: 李龍

1.一種基于OPU的CNN加速方法，其特征在于：包括如下步驟：

定義OPU指令集；

編譯器將不同目標網絡的CNN定義文件進行轉換，并根據定義的OPU指令集選擇最優加速器配置映射，生成不同目標網絡的指令完成映射；

OPU讀取上述編譯后的指令，按照OPU指令集定義的并行計算模式運行指令，完成不同目標網絡的加速；

其中，所述OPU指令集包括直接執行并為有條件指令提供配置參數的無條件指令和滿足觸發條件后執行的有條件指令，定義的OPU指令集根據CNN網絡調研結果和加速需求對指令顆粒度進行優化設置；

所述轉換包括文件轉換、網絡的圖層重組和生成統一中間表示IR；

所述映射包括解析IR、根據解析信息搜索解空間獲得保證最大吞吐量的映射方式和根據定義的OPU指令集將上述映射解表達為指令序列，生成不同目標網絡的指令；

所述定義OPU指令集包括定義有條件指令、定義無條件指令和設置指令顆粒度，定義有條件指令包括如下步驟：

構建有條件指令，有條件指令包括讀存儲指令、寫存儲指令、數據抓取指令、數據后處理指令和計算指令；

設置有條件指令的寄存器和執行方式，執行方式為滿足硬件寫入的觸發條件后執行，寄存器包括參數寄存器和觸發條件寄存器；

設置有條件指令的參數配置方式，配置方式為根據無條件指令進行參數配置；

定義無條件指令包括如下步驟：

定義無條件指令的參數；

定義無條件指令參數的執行方式，執行方式為被讀取后直接執行；

所述讀存儲指令的顆粒度設置為每次讀入n個數，n1；所述寫存儲指令的顆粒度設置為每次寫出n個數，n1；所述數據抓取指令的顆粒度設置為64的倍數，即同時操作64個輸入數據；所述數據后處理指令的顆粒度設置為每次操作64的倍數個數據；所述計算指令的顆粒度設置為32；

所述映射步驟中根據解析信息搜索解空間獲得最大吞吐量的映射方式包括如下步驟：

步驟a1：計算峰值理論值，計算如以下公式所示：

其中，表示吞吐量，表示工作頻率，表示芯片上可用的PE總數；

步驟a2：定義整個網絡計算所需的時間的最小值，計算如以下公式所示：

其中，表示第i層的PE效率，表示完成第i層所需的操作量；

步驟a3：計算完成第i層所需的操作量，計算如以下公式所示：

其中，表示對應層整體輸出大小，表示輸入層深度，,表示該層權重尺寸；

步驟a4：定義，計算如以下公式所示：

其中，表示計算第i層所需的時間；

步驟a5：計算，計算如以下公式所示：

其中，表示該層的權重尺寸，表示輸出塊大小，表示片上內核塊大小，表示輸入層深度，表示輸出層深度，,表示輸入層的大小，,表示輸入層的輸入塊的大小；

步驟a6：設定相關參數的約束條件，遍歷參數的各種取值求解最大值，計算如以下公式所示：

其中，、表示片上BRAM深度和寬度資源約束。

2.根據權利要求1所述的一種基于OPU的CNN加速方法，其特征在于：所述轉換步驟細節如下：

分析CNN定義文件的形式后轉換文件，壓縮并提取其中的網絡信息；

將網絡進行運算重組為多個圖層組，所述圖層組包括一個主要層和多個附屬層，所述圖層組間的結果保存至DRAM，所述主要層和附屬層之間數據流通由片上流水完成；所述主要層包括卷積層和完全連接層，所述附屬層包括池化層、激活層和殘差層；

根據網絡信息和重組信息生成IR。

3.根據權利要求2所述的一種基于OPU的CNN加速方法，其特征在于：所述轉換還包括CNN訓練數據進行8bit量化，細節如下：

重組后的網絡選擇8位作為特征映射和內核權重的數據量化標準，即進行8bit量化，所述量化采用動態量化，所述動態量化包括為每一層特征映射和內核權重數據中心尋找最佳范圍，細節如以下公式所示：

其中，表示內核權重或特征映射的原始單精度，表示基于某個分數長度將切割為定點后的值。