[發明專利]可重構的人工智能核心與異構多核芯片的自動設計方法

在審

• 申請號: 202010116890.8
• 申請日: 2020-02-25
• 公開（公告）號: CN111339027A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 黎江;劉欣;程誠;王旭光
• 申請（專利權）人: 中國科學院蘇州納米技術與納米仿生研究所
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/063
• 代理公司: 深圳市銘粵知識產權代理有限公司 44304
• 代理人: 孫偉峰

本發明公開了可重構的人工智能核心與異構多核芯片的自動設計方法、基于神經網絡應用的硬件資源調配方法，所述人工智能處理核心的自動設計方法中，能夠針對不同網絡對人工智能處理核心進行定制化設計，以在芯片乃至系統層面上獲得更高的處理能效；由此，所述多核芯片的自動設計方法能根據對混合神經網絡中的不同類型神經網絡自動配置對應的人工智能處理核心，實現多個神經網絡的同時并行處理，并且平衡了系統對各個神經網絡的處理負荷；所述硬件資源調配方法能夠根據不同上層應用的需求，配置對應的多核芯片，實現在不同處理場景處理不同神經網絡模型，完成對各個人工智能處理核心的單獨配置，進一步提高處理性能，降低延時，降低重構開銷。

技術領域

本發明涉及基于神經網絡的計算機系統技術領域，尤其是涉及可重構的人工智能核心與異構多核芯片的自動設計方法、基于神經網絡應用的硬件資源調配方法。

背景技術

人工智能(AI，Artificial Intelligence)近年來取得了長足的發展，以深度卷積神經網絡為代表的基于深度學習的人工智能被廣泛的應用，而由此對硬件有著相應的要求。其中，卷積神經網絡分為訓練和推理兩個過程，目前其推理過程已廣泛應用于各種人工智能如人物體檢測與識別等應用中，其對處理延時有著非常高的要求，因此在邊緣端的設備能進行推理是有著大量且迫切的需求。

目前能應用于邊緣端的人工智能加速芯片主要包括以下幾類：一、通用的CPU和GPU芯片；二、深度學習專用的ASIC(Application Specific Integrated Circuit，專用集成電路)芯片；三、FPGA(Field Programmable Gate Array，現場可編程邏輯門陣列)等可重構計算芯片。其中，通用的CPU和GPU芯片能適用不同的應用場合，通用性良好，但計算效率及能效比不佳而無法滿足人工智能需求；而深度學習專用的ASIC芯片雖然性能良好，但是由于深度學習算法領域的迭代變化快速，其往往通用性差，無法兼容大量新型的深度學習算法。至于現有的FPGA等可重構計算芯片，由于其可重構特性，既能做到對新算法支持，具備通用性，又能實現高計算效率與高能效比的特點，具備高速性。因此目前有大量的基于FPGA的人工智能加速引擎的產品應用邊緣端設備中。

然而在復雜的前端人工智能應用場景下，往往需要運行多個深度學習神經網絡，如視頻流中進行目標檢測識別應用下，需要處理至少檢測網絡、關鍵點網絡以及特征提取等多個深度學習網絡。各網絡結構的計算特點各不相同，在同一種處理架構下，各網絡的運行效率往往有很大的差異，如全連接層屬于傳輸密集，而卷積神經網絡屬于計算密集型，即使同屬卷積神經網絡，其不同類型的網絡對于計算/傳輸比都不一樣。所以，現有技術中基于上述芯片的方案，往往以同一種架構處理復雜應用下不同的神經網絡，都無法達到理想的計算效率(實際性能/理論性能)，各網絡間算力不均衡，由于復用同一計算資源，為達到AI引擎最大化利用，同時平衡軟件處理性能，軟件部分的調配優化難度大，同時部分網絡間計算特性差異大，硬件底層難以完全高效兼容，造成通用性不佳。

發明內容

有鑒于此，為了解決上述問題，本發明采用了如下的技術方案：

本發明提供了一種可重構的人工智能處理核心的自動設計方法，其包括：確定待處理神經網絡及對應所述待處理神經網絡的需求運算能力信息；根據所述待處理神經網絡的輸入數據、對應所述待處理神經網絡的需求運算能力信息以及硬件資源信息，生成所述人工智能處理核心的構造信息；根據所述構造信息構造所述人工智能處理核心，以對應調節所述人工智能處理核心的存儲容量、參與運算的處理單元數目、數據吞吐量以及運行頻率，利用構造的所述人工智能處理核心處理所述待處理神經網絡。

優選地，利用構造的所述人工智能處理核心處理所述待處理神經網絡包括：所述人工智能處理核心執行對應神經網絡的預設專用指令集。

優選地，所述硬件資源信息包括所述人工智能處理核心所在芯片的顯示查找表信息、觸發器信息、數字信號處理器信息以及塊隨機存儲器信息。