[發明專利]一種目標檢測卷積神經網絡加速器

有效

• 申請號: 202110055995.1
• 申請日: 2021-01-15
• 公開（公告）號: CN112784977B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 傅穎勛;劉恂;馬禮
• 申請（專利權）人: 北方工業大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464
• 代理公司: 北京至臻永信知識產權代理有限公司 11568
• 代理人: 王正茂;彭曉玲

1.一種目標檢測卷積神經網絡加速器，其特征在于，包括控制器，片上存儲器，多個算術計算單元，多個基于可變電阻式隨機存儲器的核心計算單元以及比較篩選單元，

所述控制器，用于控制程序進程，數據的讀取寫回操作，并劃分目標檢測卷積神經網絡計算任務為4類子任務：卷積計算，比較排序，全連接計算，輸出計算；

所述片上存儲器，用于存儲片外的輸入數據以及目標檢測卷積神經網絡計算任務運行過程中的中間計算數據，待比較排序的數據和已完成比較篩選操作的數據；

所述算術計算單元，用于計算輸出計算，即非卷積計算的算術運算；

所述基于可變電阻式隨機存儲器的核心計算單元，用于從片上存儲器中讀取待進行卷積計算的輸入數據和權值矩陣，把權值矩陣存儲到基于可變電阻式隨機存儲器的交叉陣列上，執行目標檢測卷積神經網絡中的卷積計算并將輸出結果存儲到片上存儲器中；

所述比較篩選單元，用于從所述片上存儲器讀入待比較排序的數據，用比較篩選操作得到所需的前N個最大的數，并把比較篩選的結果寫回片上存儲器，包括數據寄存器，數據比較器，篩選存儲器和地址寄存器；

所述數據寄存器，用于從所述片上存儲器中讀取存儲當前待比較數據；

所述數據比較器，用于從所述數據寄存器內讀取待比較數據，比較待比較數據和所述篩選存儲器中最小的數據的大小，若待比較數據較大，則從所述地址寄存器內讀取所述篩選存儲器中最小數據的地址，將待比較數據存入該地址，并重新尋找所述篩選存儲器內最小數據的地址存儲到地址寄存器中，若所述篩選存儲器中最小數據較大，則從數據寄存器中讀取下一個待比較數據，包括待比較數據鎖存器，比較電路和最小鎖存器；

所述篩選存儲器，用于存儲當前已比較數據中前N個最大的數據的具體數值，所述篩選存儲器內的最小數據的存儲地址將被存儲到地址寄存器；

所述地址寄存器，用于存儲所述篩選存儲器內最小數值在所述篩選存儲器內的地址；

所述基于可變電阻式隨機存儲器的目標檢測卷積神經網絡加速器的4級流水線，用于提升目標檢測卷積神經網絡內卷積計算和比較排序操作之間的處理效率，所述基于可變電阻式隨機存儲器的目標檢測卷積神經網絡加速器的4級流水線，包含4個流水段：

第一段流水段是卷積計算流水段，由所述基于可變電阻式隨機存儲器的核心計算單元完成卷積層，激活層和池化層運算，并把輸出特征圖結果傳輸至所述片上存儲器；

第二段流水段是比較排序流水段，由比較篩選單元對所述片上存儲器內待比較排序的數據進行比較排序操作，并把輸出排序結果傳輸至所述片上存儲器；

第三段流水段是全連接計算流水段，由所述基于可變電阻式隨機存儲器的核心計算單元從所述片上存儲器讀取第二段流水段的結果進行全連接運算，并把輸出目標區域概率和坐標偏移量結果傳輸至所述片上存儲器；

第四段流水線是輸出計算流水段，由所述算術計算單元從所述片上存儲器讀取坐標偏移量，計算輸出目標區域的坐標結果傳輸至所述片上存儲器。

2.根據權利要求1所述的目標檢測卷積神經網絡加速器，其特征在于，所述控制器根據目標檢測卷積神經網絡的具體結構，把卷積計算與非卷積計算進行劃分，使一個完整的目標檢測卷積神經網絡計算任務被劃分為卷積計算任務和比較排序操作任務，所述控制器向所述基于可變電阻式隨機存儲器的核心計算單元和所述比較篩選單元發送指令，指定卷積計算任務在所述基于可變電阻式隨機存儲器的核心計算單元內執行，比較排序操作任務在所述比較篩選單元內執行。

3.根據權利要求1所述的目標檢測卷積神經網絡加速器，其特征在于，所述片上存儲器為增強動態隨機存儲器。

4.根據權利要求1所述的目標檢測卷積神經網絡加速器，其特征在于，所述基于可變電阻式隨機存儲器的核心計算單元負責執行一個卷積層內的所有卷積計算和激活操作。

5.根據權利要求1所述的目標檢測卷積神經網絡加速器，其特征在于，所述比較篩選單元用于執行比較排序任務，通過比較篩選操作替代比較排序操作取出待排序數據中前N最大的數據。