[發明專利]一種面向卷積神經網絡的FPGA流水線結構

在審

• 申請號: 202110079129.6
• 申請日: 2021-01-21
• 公開（公告）號: CN112766478A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 曹鵬程;王子瑋;白立飛;高原原;劉靈芝;熊荔
• 申請（專利權）人: 中國電子科技集團公司信息科學研究院
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

一種面向卷積神經網絡的FPGA流水線結構，包括：控制單元、多個卷積神經網絡的計算用單元模塊，所述控制單元檢測所述多個卷積神經網絡的計算用單元模塊的處理完成，并以每個模塊完成信號來同時觸發并啟動下一個模塊對當前時刻信息的處理及上一個模塊對下一時刻信息的處理，從而在多個單元模塊之間形成動態的流水線結構式的處理；處理完的數據輸出FPGA的流水線結構之外，供后續相關模塊進行處理。本發明采用動態的流水線結構，相較于傳統的實現方法可極大減少傳輸次數并顯著縮短運算時間；可以便捷地增加或減少卷積神經網絡每一層的計算模塊類別和數量，且可以方便地進行層剪枝，且層級結構清晰，可讀性強，具有更強的推廣性、普適性。

技術領域

本發明涉及芯片領域，具體的，涉及一種面向卷積神經網絡的FPGA流水線結構。

背景技術

人工智能是在20世紀50年代提出的和確立的分屬計算機學科的分支學科，其最初的目標是讓計算機系統或者相關機器設備智能化地思考、處理并完成一些需要依賴于人類智慧才能夠完成的工作。深度學習是目前機器學習學科中發展最為蓬勃的分支，也是整個人工智能領域中應用前景最為廣闊的技術。

卷積神經網絡是深度學習中使用最為廣泛的一類神經網絡，占據當前技術的絕對主流。目前已經被成功的應用到圖像處理、視頻處理、自然語言處理等多種技術中。

FPGA是一種可配置的邏輯門電路,具有可配置邏輯塊和用戶輸入/輸出接口等組件，研究開發人員可以通過配置FPGA內相關的開關狀態來構建出可實現不同功能的處理架構。充分利用FPGA的高性能并行計算、超低功耗、低成本等優點來研究用以實現深度學習算法模型的高性能體系結構，將是人工智能領域的必然趨勢。

目前使用FPGA構建卷積神經網絡結構的主流做法及各自優缺點具體如下：

(1)利用服務器配合FPGA實現：服務器負責復雜控制指令的生成和復雜算法單元的實現，FPGA負責實現并行結構明確的部分算法單元以充分利用其并行處理能力。該方法將復雜但相對成熟的軟件算法仍放置于CPU實現，可大大地縮短開發周期，且部分計算模塊部署到FPGA上實現，能夠一定程度上減輕CPU的工作負載，實現算法加速。但是針對卷積神經網絡的多層網絡結構而言，使用該方法需要頻繁地進行CPU與FPGA的信息交互，導致整個處理流程耗時過長，對于日漸復雜化的大模型神經網絡而言，該方法將逐步被取代。

(2)利用FPGA內置的PowerPC、MicroBlaze等基于ARM架構的嵌入式CPU，以構建SoC(System on a Chip，片上系統)來實現卷積神經網絡結構：該方法可以完全擺脫服務器的約束，將神經網絡算法全部部署到FPGA上進行實現，能夠極大程度上消除異構平臺間信息傳輸所占用的時長。但該方法歸根結底還是用的CPU架構，開發過程仍然依賴于高級編程語言(C/C++)，且嵌入式CPU的計算能力、存儲能力、控制能力相對低下，無法充分利用FPGA對于算法加速的優勢。

因此，如何能夠解決卷積神經網絡于FPGA上實現時的設計復雜、資源占用過多、功耗大、耗時長等問題成為現有技術亟需解決的技術問題。

發明內容

本發明的目的在于提出一種面向卷積神經網絡在FPGA上實現的流水線結構，該FPGA流水線結構能夠簡化設計復雜度、降低資源占用率，減小功耗，縮短信息處理的總耗時，能夠應用在任何以卷積神經網絡為基礎的算法架構之中。

為達此目的，本發明采用以下技術方案：

一種面向卷積神經網絡的FPGA流水線結構，其特征在于，包括：

控制單元、多個卷積神經網絡的計算用單元模塊，

所述多個卷積神經網絡的計算用單元模塊包括卷積模塊、激活模塊、池化模塊、全連接模塊；