[發明專利]異構計算系統及計算方法

在審

• 申請號: 202110795428.X
• 申請日: 2021-07-14
• 公開（公告）號: CN113392065A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 劉德生;王斌;金帥
• 申請（專利權）人: 中科晶銳（蘇州）科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78
• 代理公司: 北京眾元弘策知識產權代理事務所(普通合伙) 11462
• 代理人: 李超

本發明公開了一種異構計算系統，包括多個異構計算核心、片外存儲部分、總線系統以及多個節點，每個節點對應一個異構計算核心，不同節點可根據具體應用場景的不同配置為不同異構計算核心，節點之間從縱向和橫向分別交叉連接，形成交叉總線。本發明提供的系統以具備易編程、可擴展、高性能、低功耗特性的神經網絡智能芯片板卡MLU為基礎搭建異構計算平臺，以充分發揮智能芯片在高性能、低功耗、可擴展性等諸多方面的優勢，整體能夠提供的負載功率有限，同時面對數據量大，對速度要求高的復雜場景，同時對安全性和可靠性有需求，在部分出現故障的情況下，系統依然可以運行。

技術領域

本發明屬于芯片技術應用領域。涉及一種支撐人工智能的應用的異構計算體系，尤其涉及一種基于人工智能的推理運算的異構計算系統及計算方法。

背景技術

目前單一的商用芯片難以適應需求。不足以快速、高效、低功耗地支撐人工智能的應用，需要一套異構的計算體系，來支持異構計算的需求。傳統應用，某些特殊場景的應用除了具有數據量大、難以快速處理等問題之外，同時對安全性以及可靠性有較大的需求。。

發明內容

為了克服現有技術的缺陷，本發明需要解決的技術問題是既要滿足不同載荷數據處理應用的特殊需求，又要具有一定的通用性，具有標準化、模塊化、可擴展的特點，還要具有可重構、可容錯能力，滿足特殊空間環境應用需求。構建的處理平臺能夠通過簡單的模塊組合就可以快速實現不同的類型的數據處理應用需求。

針對現有技術中的缺陷，本發明提出了一種異構計算系統，包括多個異構計算核心、片外存儲部分、總線系統以及多個節點，每個節點對應一個異構計算核心，不同節點可根據具體應用場景的不同配置為不同異構計算核心，節點之間從縱向和橫向分別交叉連接，形成交叉總線，整個交叉總線的縱向和橫向的節點數量主要由具體應用場景和系統整體性能、功耗指標所確定；

任意一個節點可完成單獨一個子任務或一個完整任務，基于所述異構計算系統的人工智能應用劃分為若干子任務，映射至不同計算節點中，網格中各個計算核心使用交叉總線連接；所述每個計算核心從臨近的交叉總線節點獲取待計算數據，計算的結果通過臨近節點返回。

優選的，上述異構計算核心包括但不限于CPU、FPGA、IPU、DSP。

優選的，上述系統具備協議層和物理層協議，采用SRIO總線實現系統內各高速模塊間的雙星型點對點高速數據交互。

優選的，上述SRIO總線采用三層分級體系結構，分別為邏輯層、傳輸層和物理層，所述邏輯層定義了端口的全部協議、包的格式，為端點發起和完成事務提供必要信息；所述傳輸層定義了地址空間和在端點之間傳輸包所需要的路由信息和尋址機制；所述物理層描述了器件級端口信息，包括傳輸機制、初級流量控制、電氣特性和低級錯誤管理等。

優選的，上述SRIO的操作基于請求和影響事務，發起端產生一個請求事務，請求事務被傳送到目標端，目標端隨之產生一個響應事務并返回發起端，以結束本次操作。

優選的，上述片外存儲部分主要由DDR Memory、內存控制器、數據傳輸模塊和頻率調節模塊組成。

優選的，上述DDR Memory作為異構計算單元計算數據的片外存儲空間，同時也作為不同計算單元數據交互的中間站，內存控制器和數據傳輸模塊負責完成數據在CPU主機端的內存與異構計算單元的片外DDR Memory之間的數據傳輸和DDR Memory與異構計算單元的片上存儲空間的數據傳輸。頻率調節模塊負責調節異構計算核心的頻率和DDR Memory的運行頻率。

優選的，上述系統還包括一內存管理模塊，負責片外內存的管理，通過頁表結構完成虛擬地址空間到物理地址空間的轉換；當異構計算核心或者數據傳輸總線需要片外板載內存時，所述頁表結構提供一個地址給內存管理部件。