[發明專利]一種用于可重構神經網絡處理器的路由結構

有效

• 申請號: 202011481685.8
• 申請日: 2020-12-15
• 公開（公告）號: CN113159302B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 黃科杰;周開寧;何揚槊
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種用于可重構神經網絡處理器的路由結構。包含至少一個NoC基本陣列Array，每一個陣列Array主要有多個組片Tile排布組成，每一個NoC基本陣列Array用于神經網絡中一層卷積層的計算，組片Tile的數量為卷積層的卷積核Ker長或寬尺寸K的平方，即一個NoC基本陣列Array由K²個組片Tile組成；多個組片Tile以單列、單行或者行列陣列排布。本發明集成了存內計算以及NoC兩方面的優勢，不僅利用了NVM進行存內計算，突破了“儲存墻”問題，不僅提高了計算性能，還保證了整體架構的靈活性。

技術領域

本發明屬于集成電路領域的一種用于進行神經網絡計算的NoC陣列結構，與存內計算與片上網絡相關，具體涉及一種用于可重構神經網絡處理器的路由結構。

背景技術

過去幾十年來，CMOS技術節點的摩爾定律收縮推動了計算性能的進步，同時壓縮了計算成本。然而，芯片上的電路持續收縮帶來了挑戰，尤其是當處理器用于大數據和人工智能等對計算能力有巨大需求的領域的情況。為滿足后摩爾定律時代的計算能力需求，新的計算范式正在緊鑼密鼓地發展。馮·諾依曼體系結構下存儲墻剪刀叉不斷增大，訪存功耗墻問題也日益突出，造成“存儲墻”的根本原因是存儲與計算部件在物理空間上的分離。另一方面，數據移動的能耗比也隨之不斷增加。最有前途的解決方案之一是在內存中進行計算，又稱存內計算，以更低的計算能力大大提高并行計算速度。

存內計算的頂層架構將與傳統計算模式有很大的區別。作為存內計算核心的新興的電阻式非易失性存儲器的寫入功率高、寫入速度慢，所以負載存儲方案對于存內計算來說將是低效率的。由于目前現有的存內計算研究大多只關注于存算核的設計，存內計算的電路缺乏靈活的頂層架構配置神經網絡的存儲和運算單元，因此，應開發新的靈活的互連架構和映射策略，以滿足神經網絡的各種要求。而具有高并行性和可擴展性的片上網絡(Network on Chip,NoC)已經引起了工業界和學術界的廣泛關注，為解決這一問題提供了方案。

NoC包括計算和通信兩個子系統。計算子系統完成廣義的“計算”任務，計算單元(Process Element,PE)既可以是現有意義上的CPU、片上系統(System on Chip,SoC)，也可以是各種專用功能的IP核或存儲器陣列、可重構硬件等。在神經網絡計算的硬件設計中，存內計算模塊PE負責計算；通信子系統負責連接PE，實現計算資源之間的高速通信。通過這兩個子系統，能夠靈活地進行神經網絡層之間的通信和整體的運算。

目前，AtomLayer、FloatPIM、PRIME等存內計算模型已經能支持卷積神經網絡(Convolution Neural Network,CNN)的運行，并能顯著降低運行功耗。 AtomLayer是一種基于ReRAM的通用加速器，采用原子層計算，每次只處理一個網絡層，從而消除了與流水線相關的問題；還采用了獨特的濾波器映射和數據復用系統，以最大限度地降低層切換和DRAM訪問成本。FloatPIM是一種全數字可擴展的存內計算架構，可以在訓練和測試階段加速CNN；FloatPIM 支持原生浮點表示，可以實現相鄰內存塊之間的快速通信，以減少存內計算架構的內部數據移動。NoC已也被證明可以支持CNN，相關模型有Eyeriss系列、 GANPU等。Eyeriss v2引入分層網狀網絡(HM-NoC)來解決神經網絡層形的變化的問題，此舉同時限制了本地PE集群內昂貴的通信以及電路交換路由的成本，使其實現成本最小化。它還采用了新的PE架構，支持在壓縮域中直接處理稀疏的權重和輸入激活，不僅提高了能效，而且提高了吞吐量；增加了對 SIMD的支持，使每個PE每周期可以處理2個乘累加運算(Multiplication and Accumulation,MAC)。

用單純的存內計算電路會導致缺少靈活的頂層架構的問題，僅用片上網絡的通信方式和輕量化神經網絡的方法無法從硬件層面對神經網絡進行加速，這都大大限制了神經網絡計算速度的提升。

發明內容