[發明專利]神經網絡計算專用電路及其相關計算平臺與實現方法

有效

• 申請號: 201810828991.0
• 申請日: 2018-07-25
• 公開（公告）號: CN110766127B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 張玉;賈希杰;隋凌志;吳迪
• 申請（專利權）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T1/20
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 張陽

公開了一種神經網絡專用電路及其相關計算平臺與實現方法。該專用電路包括：數據讀取模塊，包括在執行depthwise卷積操作時分別用于將特征圖數據和權重數據從片上緩存中讀取至數據計算模塊的特征圖讀取子模塊和權重讀取子模塊，所述特征圖讀取子模塊還用于在執行池化操作將特征圖數據從片上緩存中讀取至數據計算模塊；所述數據計算模塊，包括用于執行depthwise卷積計算的dwconv模塊以及用于執行池化計算的pooling模塊；以及數據寫回模塊，用于將所述數據計算模塊的計算結果寫回所述片上緩存。由此，通過對上述兩類操作的讀取和寫回邏輯的復用降低硬件資源的使用。同時，本發明的專用電路采用高并發流水線設計，能夠進一步提升計算性能。

技術領域

本發明涉及硬件架構領域，尤其涉及一種用于神經網絡計算的專用電路及其相關計算平臺與實現方法。

背景技術

近年來，基于人工神經網絡(ANN，Artificial Neural Network)，尤其是卷積神經網絡(CNN，Convolutional Neural Network)的方法在很多應用中都取得了極大的成功。在計算機視覺領域，特別是針對圖像分類問題，CNN的引入使得圖像分類的精度大幅提高。

雖然基于人工神經網絡的方法具有先進的性能，但與傳統方法相比需要更多的計算和內存資源。尤其隨著神經網絡的發展，大型神經網絡具有越來越多的層級和數據量，利用傳統的CPU平臺，已無法滿足其實用性需求。因此，利用FPGA、GPU、ASIC等高并行度異構計算平臺進行神經網絡加速器設計成為新的研究熱點。在這其中，FPGA和ASIC以其高定制性、高能效比和低延時等優勢而擁有良好的市場前景。

當利用FPGA和ASIC等的高并行度計算平臺來執行計算時，如何能夠充分利用電路的可設計性提升計算利用率，成為了神經網絡計算平臺所需考慮的重要問題。

因此，仍然需要一種能夠進一步優化神經網絡計算的相關方案。

發明內容

為了解決上述至少一個問題，本發明提出了一種神經網絡專用電路，該電路充分考慮depthwise卷積和池化操作中共同點，通過對上述兩類操作的讀取和寫回邏輯的復用降低硬件資源的使用。同時，本發明的專用電路采用高并發流水線設計，能夠進一步提升計算性能。

根據本發明的一個方面，提出了一種神經網絡計算專用電路，包括：數據讀取模塊，包括在執行depthwise卷積操作時分別用于將特征圖數據和權重數據從片上緩存中讀取至數據計算模塊的特征圖讀取子模塊和權重讀取子模塊，所述特征圖讀取子模塊還用于在執行池化操作將特征圖數據從片上緩存中讀取至數據計算模塊；所述數據計算模塊，包括用于執行depthwise卷積計算的dwconv模塊以及用于執行池化計算的pooling模塊；以及數據寫回模塊，用于將所述數據計算模塊的計算結果寫回所述片上緩存。

由此，分時執行的dwconv操作和池化操作可以復用相同的讀取和寫回邏輯，降低了系統的復雜度并提升了該電路本身的硬件利用率。在此，pooling模塊執行的池化可以是最大值池化或平均池化。神經網絡計算專用電路可由FPGA或ASIC實現。

優選地，本發明的專用電路還可以包括：指令控制模塊，用于接收指令信息，從所述指令信息中提取出控制信息分發至所述數據讀取模塊、所述數據計算模塊和所述數據寫回模塊，以對數據讀取、計算和寫回進行控制。由此，通過引入專用控制電路，能夠進一步提升該專用電路的執行效率。所述指令控制模塊接收的指令信息可以包括如下至少一項：卷積核寬度、卷積核高度、像素長度、通道數、卷積核橫向步長、卷積核縱向步長、輸入源數據地址和輸出結果數據地址，以便指示dwconv和池化操作中所需的各自信息。