[發明專利]一種基于FPGA的支持通道分離卷積的神經網絡加速器

有效

• 申請號: 202110100516.3
• 申請日: 2021-01-26
• 公開（公告）號: CN112766479B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 陸生禮;蘇晶晶;龐偉;劉昊
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F13/28;G06F7/485
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 沈廉

本發明公開一種基于FPGA的支持通道分離卷積的神經網絡加速器，該加速器包括：Ping?Pong寄存器文件、可配置數據流的輸出特征值行映射單元ORMU陣列、功能單元模塊以及存儲器接口模塊等；Ping?Pong寄存器文件從控制處理器接受配置和控制字，完成計算后發出中斷信號；ORMU陣列采用可配置的片上網絡將ORMU單元和緩存互聯，以滿足不同數據帶寬需求的神經網絡的計算；功能單元模塊用以實現Pooling池化、Relu激活以及批量歸一化BN等功能；存儲器接口模塊用以傳輸權重和特征值。本發明通過靈活的分層網狀片上網絡，以支持通道分離卷積(逐通道卷積和逐點卷積)、傳統卷積以及全連接對數據帶寬的不同需求，從而保證較高的計算單元的利用率，極大的提升了推理/計算速度。

技術領域

本發明涉及一種基于FPGA(Filed Programmable Gate Array)的支持通道分離卷積的神經網路加速器硬件結構技術,屬于電子信息以及深度學習技術領域。

背景技術

近幾年，得益于有效數據(文本、視頻、音頻等)的爆發增長以及半導體技術的進步，深度學習得到了快速的發展并且在機器視覺以及自然語言等領域取得了巨大的成功。由于深度網絡具備多層的非線性結構，使其具備強大的特征表達能力和對復雜任務的建模能力的同時，也為其帶來了參數量龐大和計算復雜的特性。盡管現如今具有強大算力和海量存儲的服務器可以輕松的完成即使是最復雜的卷積神經網絡的推理，但是在大多數的實際應用中，為了減少延遲和降低安全風險，卷積神經網絡的正向推理過程必須在資源和功耗有限的終端完成。例如，自動駕駛，無人機導航以及機器人等領域。

為滿足實際應用的需要，拓展卷積神經網絡在嵌入式終端的應用成為近期卷積神經網絡發展的一個重要趨勢，其旨在減少卷積神經網絡模型的大小和改善硬件的處理效率。在此探索的過程中，許多創新的技術被提出來，包括權重值和特征值量化，權重值剪枝以及采用通道分離卷積替換傳統卷積計算，從而使卷積神經網絡的結構變的十分緊湊且特征值和權重更加的稀疏化。

盡管如此，這些算法上的優化也僅僅是理論上減少了計算量和存儲成本，而現如今大多數的傳統卷積神經網絡加速器無法很好的將這種理論上的好處轉化為實際的能效和處理速度的提升。其網絡結構的不規則性和數據的稀疏化反而會引起神經網絡硬件加速器的MAC(Multiply Accumulate)單元在時間和空間上利用率大幅度降低，進而導致性能的退化。

在以上提到的方法中，采用通道分離卷積代替標準卷積的DW-CNN(Depth-wiseConvolutional Neural Networks)和PW-CNN(Point-wise Convolutional NeuralNetworks)被廣泛的應用在各種輕量級神經網絡中，用以大量減少參數量和計算復雜度。

基于以上分析設計一款支持通道分離卷積的靈活高效加速器將會使加速器在能效和處理速度上具有先天的優勢。

發明內容

技術問題：本發明的目的是提供一種基于FPGA的支持通道分離卷積的神經網絡加速器，通過支持通道分離卷積，充分利用結構緊湊的卷積神經網絡所帶來的參數量和計算量大量減少的優勢，進而提高能效和處理速度。為此，采用了靈活可配置的片上網絡，以滿足計算單元對不同網絡結構帶寬需求的變化，同時采用輸出特征值行穩定的數據流模式，充分探索數據復用提高能效。

技術方案：本發明的一種基于FPGA的支持通道分離卷積的神經網絡加速器包括Ping-Pong寄存器文件模塊、可配置數據數據流的ORMU陣列、功能單元以及存儲器接口模塊；

所述的Ping-Pong寄存器文件模塊通過配置總線接受來自外部控制處理器的配置信息以及啟動計算等控制命令，根據相關配置和控制信息，對數據流進行配置并控制計算過程，同時也向外部控制器發送加速器各單元狀態信息以及計算完成中斷信號；