[發明專利]用于芯片間通信的處理單元、處理系統及方法

在審

• 申請號: 202111561477.3
• 申請日: 2021-12-15
• 公開（公告）號: CN116263752A
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 韓亮;吳政原;朱國瑜;鐘嶸;焦陽;陸葉;吳煒;鄒云曉;尹莉
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F15/173
• 分類號: G06F15/173
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 劉靜;梁燕飛

本公開提供了一種用于芯片間通信的處理單元、處理系統及方法。該處理單元包括：多個處理核；多個存儲器，與處理核耦合；多個互連，被配置為將處理單元通信耦合到包括第二處理單元的多個其他處理單元，其中，多個互連包括在一端連接到處理單元的端口且在另一端連接到第二處理單元的端口的互連；以及通信控制器，通信控制器耦合到處理核，且通信控制器基于存儲器訪問請求中的地址，將輸出的存儲器訪問請求映射到多個互連中的選定互連。本公開通過高帶寬芯片間網絡，在不使用常規網絡(例如，以太網)的情況下實現系統中的神經網絡處理單元之間的通信，從而避免常規網絡的帶寬限制和相對速度不足，從而提高芯片間通信的數據傳輸速率和傳輸帶寬。

技術領域

本公開涉及數據處理技術，尤其涉及用于芯片間通信的處理單元、處理系統及方法。

背景技術

圖1是說明用于加速神經網絡的常規系統100的框圖。通常，系統100包括多個服務器，并且每個服務器包括多個并行計算單元。在圖1的示例中，系統100包括服務器101和服務器102。服務器101包括連接到外圍組件互連高速(Peripheral?Component?InterconnectExpress，PCIe)總線111的神經網絡處理單元(neural?network?processing?unit，NPU)，即NPU_0至NPU_n，且服務器102包括連接到PCIe總線112的類似的NPU陣列。每個NPU例如包括但不限于包括諸如處理核和存儲器(未示出)之類的元件。如圖1所示，系統100中的每個服務器包括主機中央處理單元(CPU)，且通過相應的網絡接口控制器或網絡接口卡(networkinterface?card，NIC)連接到網絡130。

系統100包括例如使用分區全局地址空間(partitioned?global?address?space，PGAS)編程模型的統一的存儲器尋址空間。因此，在圖1的示例中，服務器101的每個NPU可以從服務器101或服務器102的任何其他NPU上的存儲器讀取數據或向服務器101或服務器102的任何其他NPU上的存儲器寫入數據，反之亦然。例如，為了將數據從服務器101的NPU_0寫入NPU_n，通過PCIe總線111將數據從NPU_0發送到NPU_n；且為了將數據從服務器101的NPU_0寫入服務器102的NPU_m上的存儲器，通過PCIe總線111將數據從NPU_0發送到NIC121，然后通過網絡130將數據發送到NIC122，然后通過PCIe總線112將數據發送到NPU_m。

系統100可用于諸如但不限于圖分析和圖神經網絡的應用，更具體地，系統100可以用于諸如但不限于在線購物引擎、社交網絡、推薦引擎、映射引擎、故障分析、網絡管理和搜索引擎的應用。這些應用執行大量的存儲器訪問請求(例如，讀和寫請求)，且因此還傳送(例如，讀和寫)大量的用于處理的數據。雖然PCIe帶寬和數據傳輸速率相當可觀，但它們對這些應用來說仍然是有限的。對于這些應用來說，PCIe確實太慢且其帶寬太窄。

發明內容

根據本公開的實施例提供了上述問題的解決方案。概括而言，根據本公開的實施例提供了計算系統和諸如但不限于神經網絡和人工智能(AI)工作負載的應用的運行的改進。更具體地，根據本公開的實施例提供了方法、系統和編程模型，通過提高發送和接收系統元件之間的存儲器訪問請求(例如，讀請求和寫請求)以及完成結果數據傳輸的速度，來提高諸如神經網絡和AI工作負載等應用的執行速度。本公開的系統、方法和編程模型允許系統中的處理單元在不使用常規網絡(例如，以太網)的情況下通信，該常規網絡使用相對窄且慢的外圍組件互連高速(PCIe)總線。

在一些實施例中，系統包括高帶寬芯片間網絡(ICN)，ICN允許系統中神經網絡處理單元之間通信。例如，ICN允許NPU與位于相同計算節點或服務器的其他NPU通信，也允許NPU與位于其他計算節點或服務器的NPU通信。在一些實施例中，可以在命令級(例如，在直接存儲器訪問級)和指令級(例如，在更細粒度的加載/存儲指令級)通信。ICN允許系統中的NPU在不使用PCIe總線的情況下進行通信，從而避免其帶寬限制和相對的速度不足。