[發明專利]支持卷積神經網絡擴展指令的RISC-V加速器系統

在審

• 申請號: 202310081218.3
• 申請日: 2023-02-08
• 公開（公告）號: CN115983348A
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 魏繼增;王茲哲
• 申請（專利權）人: 天津大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 杜文茹

一種支持卷積神經網絡擴展指令的RISC?V加速器系統，包括，用于保存所有指令與數據的外部存儲器和用于數據傳輸的AXI總線，還設置有五級流水線結構的依次串接的取指模塊、譯碼模塊、執行模塊、訪存模塊和寫回模塊，所述的寫回模塊的輸出端連接通用寄存器堆，將當前指令的運行結果送入到通用寄存器堆保存，用于譯碼模塊的提取。本發明是一種通用的、模塊化、可擴展的能處理所有卷積層運算的指令集，并基于RISC?V基礎指令集極大提高了處理器的通用性。本發明中的專用矩陣擴展指令和RISC?V基本指令集相結合，在卷積神經網絡運算上顯著提高計算性能并降低資源占用。

技術領域

本發明涉及一種神經網絡加速器。特別是涉及一種基于RISC-V指令集實現的支持卷積神經網絡擴展指令的RISC-V加速器系統。

背景技術

近些年來，隨著人工智能技術的不斷快速發展，卷積神經網絡(ConvolutionalNeural?Network，CNN)作為深度學習的常用算法，其深度與計算量都在迅速增加。深度學習技術一個重要特點是運算量特別巨大且有不斷增長的趨勢，其中的卷積運算占了很大一部分，用來執行通用邏輯運算的CPU(Central?Processing?Unit，中央處理器)已經不能應付如此龐大的任務。目前，比較常用的處理方法是利用GPU(GraphicProcessing?Unit，圖形處理器)、ASIC(Application?Specific?Integrated?Circuit，專用集成電路)和FPGA(Field-Programmable?Gate?Array，現場可編程門陣列)來進行專門的神經網絡計算。在計算和存儲資源都很有限的嵌入式移動平臺上，GPU和ASIC有高成本、靈活性地、可擴展性差等缺點。FPGA、ASIC的低功耗特性使其具有更廣泛的應用領域，如電量受限的嵌入式平臺。因此本文主要關注基于這兩類平臺的卷積神經網絡(CNN)加速器的相關工作。但經觀察發現，先前的工作中此類加速器通常僅加速特定的網絡結構或特定類型的層，模式相對固定，靈活性較低。

然而，目前國內外對于此領域的技術方案存在一些問題。對于很多卷積神經網絡，現有技術要么提高CPU與GPU的運算性能，這會極大提高功耗與成本，對需要支持各種負載的通用處理器帶來了巨大壓力；要么使用單獨設計的專用硬件加速器，它們雖然提高了效率但是缺乏靈活性，難以應付需要多變場景。

將通用性強、靈活度高、功耗低的處理器與CNN卷積神經網絡算法相結合，設計一款支持自定義矩陣指令的RISC-V加速器是解決靈活性與能耗比問題的可行之路。

發明內容

本發明所要解決的技術問題是，提供一種能夠進一步節省卷積神經網絡運行功耗、節約成本并提高靈活性與可移植性的支持卷積神經網絡擴展指令的RISC-V加速器系統。

本發明所采用的技術方案是：一種支持卷積神經網絡擴展指令的RISC-V加速器系統，包括，用于保存所有指令與數據的外部存儲器和用于數據傳輸的AXI總線，還設置有五級流水線結構的依次串接的取指模塊、譯碼模塊、執行模塊、訪存模塊和寫回模塊，所述的寫回模塊的輸出端連接通用寄存器堆，將當前指令的運行結果送入到通用寄存器堆保存，用于譯碼模塊的提取；其中，

所述的取指模塊通過AXI總線連接外部存儲器用于獲取外部存儲器的指令信息送入譯碼模塊；

所述譯碼模塊將傳來的指令翻譯為指令類型、通用寄存器堆地址、訪存相關信息，并從通用寄存器堆中取到指令所需數據，最后將指令類型、訪存相關信息和指令所需數據發給執行模塊；

所述的執行模塊根據傳來的指令類型和指令所需數據進行相應的運算，并將運算結果以及傳來的訪存相關信息發送給訪存模塊；

所述的訪存模塊檢測當前指令是否為訪存指令，若為訪存指令則通過AXI總線連接外部存儲器，根據從執行模塊得到的訪存相關信息與外部存儲器進行交互，將從外部存儲器獲得的數據和執行模塊的運算結果同時送入寫回模塊；否則，將執行模塊的運算送入寫回模塊；