[發明專利]卷積處理引擎及控制方法和相應的卷積神經網絡加速器

有效

• 申請號: 201811323140.7
• 申請日: 2018-11-06
• 公開（公告）號: CN109472355B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 賀浩千;李建軍;黃暢
• 申請（專利權）人: 地平線(上海)人工智能技術有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京市正見永申律師事務所 11497
• 代理人: 黃小臨;馮玉清

公開了一種卷積處理引擎及其控制方法以及包括該卷積處理引擎的卷積神經網絡加速器。該卷積處理引擎包括串聯的至少兩個高速緩沖存儲器和運算電路。該卷積處理引擎能夠以較低的復雜度和功耗來實現高效率的卷積運算。

技術領域

本公開總體上涉及人工智能的技術領域，并且具體地涉及一種卷積處理引擎及其控制方法以及包括該卷積處理引擎的卷積神經網絡加速器。

背景技術

卷積神經網絡已經成功地應用于圖像處理、自動駕駛等諸多領域。隨著應用需求的不斷發展，卷積神經網絡中涉及的乘加運算的運算量越來越多，對于用于卷積神經網絡運算的卷積神經網絡加速器的處理性能也提出越來越高的要求。

隨著數據量和運算量的增加，卷積神經網絡加速器消耗在存取(包括讀取和寫入)數據上的時間急劇增加，并且在很多情況下成為制約卷積神經網絡加速器的處理性能的主要因素之一。

因此，期望提供一種低成本但高效率的卷積神經網絡加速器。

發明內容

根據本公開的一方面，提供了一種卷積處理引擎。

該卷積處理引擎包括串聯的至少兩個高速緩沖存儲器，其中，對于任何兩個相鄰的高速緩沖存儲器中的在前高速緩沖存儲器和在后高速緩沖存儲器，在前高速緩沖存儲器的輸出端耦接到在后高速緩沖存儲器的輸入端，并且串聯在最先位置處的第一高速緩沖存儲器的輸入端和串聯在最后位置處的第二高速緩沖存儲器的輸出端分別對應于該卷積處理引擎的第一輸入端和輸出端。在前述的至少兩個高速緩沖存儲器中，前述的第一高速緩沖存儲器用于接收和緩存來自該卷積處理引擎外部的數據，前述的第二高速緩沖存儲器用于將所緩存的數據輸出到該卷積處理引擎外部。

該卷積處理引擎還包括運算電路，其中，運算電路的輸入端耦接到前述的至少兩個高速緩沖存儲器的每個高速緩沖存儲器的輸出端，并且運算電路的輸出端耦接到前述的至少兩個高速緩沖存儲器的每個高速緩沖存儲器的輸入端。運算電路可以包括乘法累加器陣列。

根據本公開的另一方面，還提供了一種包括上述卷積處理引擎的卷積神經網絡加速器。

根據本公開的另一方面，還提供了一種用于控制上述卷積處理引擎的方法。該方法包括：

確定待處理的卷積神經網絡中的連續的至少兩個層與前述的至少兩個高速緩沖存儲器之間的對應關系，對應高速緩沖存儲器的對應部分將用于存儲對應層的運算中所涉及的特征數據，其中，前述的至少兩個層中的最先層的輸入特征數據的對應高速緩沖存儲器是前述的第一高速緩沖存儲器，并且前述的至少兩個層中的最后層的輸出特征數據的對應高速緩沖存儲器是前述的第二高速緩沖存儲器；

從上述卷積處理引擎外部接收第一輸入特征數據并存儲到前述的第一高速緩沖存儲器的第一對應部分中，前述的第一輸入特征數據是前述的最先層的原始完整輸入特征數據的第一部分數據；以及

控制前述的運算電路執行第一操作，前述的第一操作包括從前述的第一對應部分中讀取前述的第一輸入特征數據、基于前述的第一輸入特征數據從前述的最先層開始依次執行每個層的運算以及將通過每個層的運算所獲得的第一輸出特征數據存儲到對應高速緩沖存儲器的對應部分中。

根據本公開的另一方面，還提供了一種計算機可讀取的非臨時性存儲介質，其上存儲有程序指令，該程序指令在被執行時至少執行上述用于控制卷積處理引擎的方法。

根據本公開的實施例的卷積處理引擎或包括該卷積處理引擎的卷積神經網絡加速器能夠以很低的硬件設計復雜度、控制復雜度、成本和功耗來高效率地實現卷積運算。

附圖說明