[發明專利]一種CNN推理加速系統、加速方法及介質

有效

• 申請號: 202011519581.1
• 申請日: 2020-12-21
• 公開（公告）號: CN112667289B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 楊繼林
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06N3/063;G06N5/04
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

本發明公開了一種CNN推理加速系統，包括指令操作模塊、數據存儲模塊、IMC指令模塊、向量指令模塊和向量寄存器模塊；指令操作模塊存儲指令，并將指令進行譯碼解析，將解析后的指令發送至IMC指令模塊和向量指令模塊；數據存儲模塊存儲系統數據；IMC指令模塊接收指令模塊發送的解析后的指令，并執行圖像預處理、激活處理和池化處理；向量指令模塊，執行向量指令，將向量指令的執行結果寫入向量寄存器模塊中；向量寄存器模塊存儲執行向量指令的結果；本發明能夠滿足CNN加速的需求，并且還具有開放、模塊化和可擴展的特點，此外在軟件方面可以做二次開發構建完整的軟件工具鏈，從而滿足用戶個性化的需求。

技術領域

本發明涉及CNN推理加速領域，特別是涉及一種CNN推理加速系統、加速方法及介質。

背景技術

GPU(Graphics Processing Unit,圖形處理器)單指令流多數據流的結構對矢量運算的支持較好，可以用來加速CNN(卷積神經網絡，Convolutional Neural Networks)。但是GPU并不是為實現CNN加速專門設計的，運行CNN算法的能效較低。

ASIC(Application Specific Integrated Circuit，特殊應用集成電路)是為了滿足特定的要求而定制的芯片，定制的特點有助于提高性能功耗比，基于ASIC實現CNN加速相比于GPU具有明顯的能效優勢，但是如果設計ASIC時采用無指令的方式則會導致靈活性不足且無法利用現有的軟件生態。

目前業界占據市場份額最大的指令集是x86和ARM(Advanced RISC Machines，微處理器)指令集，x86架構在桌面和服務器領域占優，而ARM架構則在移動手持領域和嵌入式領域占優，x86和ARM都是受專利保護的商業指令集，使用這些指令集需要授權，在指令集發展過程中為了向下兼容導致現在的x86和ARM指令集已經比較復雜，此外用戶難以對x86和ARM指令集進行自定義擴展從而滿足個性化需求。

發明內容

本發明主要解決的是現有ASIC實現CNN加速會導致靈活性不足，無法利用現有軟件生態，以及x86和ARM無法進行自定義擴展的問題。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種CNN推理加速系統，包括：指令操作模塊、數據存儲模塊、IMC指令模塊、向量指令模塊和向量寄存器模塊；

所述指令操作模塊存儲指令，并將指令進行譯碼解析，將解析后的所述指令發送至所述IMC指令模塊和所述向量指令模塊；

所述數據存儲模塊存儲系統數據；

所述IMC指令模塊接收所述指令操作模塊發送的解析后的所述指令，并執行圖像預處理、激活處理和池化處理；

所述向量指令模塊接收所述指令操作模塊發送的解析后的所述指令，并執行向量指令，將所述向量指令的執行結果寫入所述向量寄存器模塊中；

所述向量寄存器模塊存儲所述執行向量指令的結果。

進一步，所述指令操作模塊包括指令存儲模塊、取指令模塊、譯碼模塊和指令派遣模塊；

所述指令存儲模塊存儲所述指令；所述取指令模塊從所述指令存儲模塊中讀取所述指令，并發送給所述譯碼模塊；所述譯碼模塊接收所述取指令模塊發送的所述指令，并將所述指令解析；所述指令派遣模塊將解析后的所述指令發送至所述IMC指令模塊和所述向量指令模塊；

所述取指令模塊包括地址生成模塊和接口協議轉換模塊；所述地址生成模塊生成所述指令的訪問地址；所述接口協議轉換模塊將地址生成模塊中接口進行轉換并通過轉換后的所述接口連接所述指令存儲模塊。

進一步，所述向量指令模塊包括向量指令執行模塊和向量指令回寫模塊；