[發明專利]目標檢測硬件加速器及加速方法

有效

• 申請號: 202011494636.8
• 申請日: 2020-12-17
• 公開（公告）號: CN112230884B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 陳遲曉;張錦山;焦博;張立華
• 申請（專利權）人: 季華實驗室
• 主分類號: G06F7/523
• 分類號: G06F7/523;G06F7/50;G06N3/063
• 代理公司: 深圳中創智財知識產權代理有限公司 44553
• 代理人: 文言;田宇

本發明涉及數據處理領域，提供了一種目標檢測硬件加速器及加速方法，該加速器包括集成有乘法器及加法器的卷積運算器，所述卷積運算器接收預先存儲于塊隨機存儲器的卷積權重數據及特征圖，所述乘法器對所述卷積權重數據及特征圖進行乘法操作得到乘法結果數據和卷積偏移數據，所述加法器對所述乘法結果數據及卷積偏移數據進行移位相加求和處理得到乘累加結果數據；池化操作單元，用于接收所述乘累加結果數據并進行池化操作，輸出池化結果數據；RBR操作單元，用于對所述池化結果數據進行批量標準化和量化得到目標特征數據并存儲至所述塊隨機存儲器。本發明能夠減少加速器進行數據搬運需要的時間和功耗，提升加速器的工作效率。

技術領域

本發明涉及數據處理領域，尤其涉及一種目標檢測硬件加速器及加速方法。

背景技術

在大數據分析和大規模高速計算平臺的支撐下，神經網絡技術得到了可足的發展。一方面，神經網絡算法不斷改進，繼CNN（Convolutional Neural Networks，卷積神經網絡）之后，諸如RNN（Recurrent Neural Network，循環神經網絡）、GAN（GenerativeAdversarial Networks，生成式對抗網絡）等新型網絡模型層出不窮；另一方面，由于神經網絡算法在圖像識別、語音分析和自然語言處理等領域表現突出，被廣泛地應用到嵌入式系統中。嵌入式系統是一個專用的片上系統，它對系統的性能和功耗有著嚴格的要求。因此，在片上系統中集成神經網絡加速器成為一個研究熱點。

隨著各類神經網絡算法的提出，各式各樣的神經網絡加速器應運而生。但是，現有的神經網絡加速器在進行數據搬移過程中，大多采用DRAM讀取數據，需要經過總線傳輸，總線的帶寬有限，大量數據從DRAM中讀取的功耗和延時都很大，這大大降低了加速器的工作效率。因此，如何減少加速器進行數據搬運需要的時間和功耗，提升加速器的工作效率成為了亟需解決的技術問題。

發明內容

本發明的主要目的在于提供一種目標檢測硬件加速器及加速方法，旨在如何減少加速器進行數據搬運需要的時間和功耗，提升加速器的工作效率的問題。

為實現上述目的，本發明提供的一種目標檢測硬件加速器，該加速器包括：

集成有乘法器及加法器的卷積運算器，所述卷積運算器接收預先存儲于塊隨機存儲器的卷積權重數據及特征圖，所述乘法器對所述卷積權重數據及特征圖進行乘法操作得到乘法結果數據和卷積偏移數據，所述加法器對所述乘法結果數據及卷積偏移數據進行移位相加求和處理得到乘累加結果數據；

池化操作單元，用于接收所述乘累加結果數據并進行池化操作，輸出池化結果數據；

RBR操作單元，用于對所述池化結果數據進行批量標準化和量化得到目標特征數據并存儲至所述塊隨機存儲器。

優選地，所述“乘法器對所述卷積權重數據及特征圖進行乘法操作得到乘法結果數據和卷積偏移數據”步驟包括：

對所述卷積權重數據及特征圖從并行相乘的3bit×3bit的并行乘法轉換為3bit×1bit的串行乘法。

優選地，該加速器還包括主控模塊，用于生成所述卷積運算器的卷積操作指令，池化操作單元的池化操作指令及RBR操作單元的RBR操作指令。

優選地，所述批量標準化和量化包括：對所述池化結果數據重新縮放，歸一化和ReLU處理。

優選地，該加速器還包括重排序緩沖單元，設于所述RBR操作單元與所述塊隨機存儲器之間，用于對構成所述目標特征數據的數據單元按照卷積順序進行排序后，依次存儲至所述塊隨機存儲器。

優選地，所述乘法操作基于FPGA的LUT單元實現。

優選地，所述移位相加求和處理基于FPGA的DSP單元實現。

為實現上述目的，本發明還進一步提供一種目標檢測硬件加速器的加速方法，包括：