[發(fā)明專(zhuān)利]一種低延遲GPU冗余連接結(jié)構(gòu)、方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010132962.8
• 申請(qǐng)日: 2020-02-29
• 公開(kāi)（公告）號(hào): CN111340679A
• 公開(kāi)（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 戴金銳;孔祥濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類(lèi)號(hào): G06T1/20
• 分類(lèi)號(hào): G06T1/20
• 代理公司: 濟(jì)南舜源專(zhuān)利事務(wù)所有限公司 37205
• 代理人: 徐胭脂

本發(fā)明提供一種低延遲GPU冗余連接結(jié)構(gòu)、方法及系統(tǒng)，包括：多個(gè)GPU連接組，所述GPU連接組包括圖形處理單元、選擇單元、交換單元和連接器，所述選擇單元通過(guò)第一鏈路連接圖形處理單元；所述選擇單元通過(guò)第二鏈路連接交換單元；所述選擇單元通過(guò)第三鏈路連接所述連接器；所述選擇單元控制第一鏈路、第二鏈路和第三鏈路的通斷；所述圖形處理單元連接交換單元；所述多個(gè)GPU連接組之間通過(guò)所述連接器連接。本發(fā)明能夠在保持現(xiàn)有通信帶寬的前提下，通過(guò)6個(gè)交換單元完成16個(gè)圖形處理單元的互聯(lián)，實(shí)現(xiàn)NVLink資源的冗余，降低信號(hào)的延遲也降低了硬件成本。

技術(shù)領(lǐng)域

本發(fā)明屬于GPU技術(shù)領(lǐng)域，具體涉及一種低延遲GPU冗余連接結(jié)構(gòu)、方法及系統(tǒng)。

背景技術(shù)

隨著AI、HPC、大數(shù)據(jù)等應(yīng)用領(lǐng)域的飛速發(fā)展，對(duì)于計(jì)算性能的要求也越來(lái)越高，傳統(tǒng)的CPU服務(wù)器難以滿(mǎn)足新業(yè)務(wù)的性能需求，采用CPU、GPU、FPGA、ASIC等處理器組合而成的異構(gòu)計(jì)算模式來(lái)進(jìn)行數(shù)據(jù)訓(xùn)練或推理，逐漸成為主流。

NVIDIA NVLink是世界首項(xiàng)高速GPU互聯(lián)技術(shù)，與傳統(tǒng)的PCIe系統(tǒng)解決方案相比，能為多GPU系統(tǒng)提供更快速的替代方案,在不同的應(yīng)用場(chǎng)景中，對(duì)計(jì)算資源的需求不同，目前流行的NVLink互聯(lián)系統(tǒng)有8GPU互聯(lián)和16GPU互聯(lián)兩種。其中8GPU系統(tǒng)為冗余設(shè)計(jì)，可以拓展成16GPU系統(tǒng)。

目前的8GPU NVLink互聯(lián)系統(tǒng)為NVIDIA的HGX-2模塊，如圖1所示，8個(gè)圖形處理單元通過(guò)6個(gè)交換單元實(shí)現(xiàn)互聯(lián)，使深度學(xué)習(xí)性能得到最大化的提升，在某些性能要求較高的應(yīng)用場(chǎng)景中，8GPU服務(wù)器的性能無(wú)法滿(mǎn)足應(yīng)用要求，可以將8GPU系統(tǒng)擴(kuò)展為16GPU系統(tǒng)。兩個(gè)HGX-2系統(tǒng)通過(guò)連接器互聯(lián)成為16GPU系統(tǒng)，每個(gè)圖形處理單元與每個(gè)交換單元的通信帶寬為2NVLinks，每個(gè)交換單元與連接單元的通信帶寬為16NVLinks。

上述GPU冗余連接方法，兩個(gè)8GPU系統(tǒng)的圖形處理單元之間的通信需要經(jīng)過(guò)兩級(jí)交換單元，8GPU系統(tǒng)中每個(gè)圖形處理單元通過(guò)2NVLinks與每個(gè)交換單元互聯(lián)，兩個(gè)8GPU系統(tǒng)通過(guò)交換單元實(shí)現(xiàn)互聯(lián)，互聯(lián)帶寬為96NVLinks。采用兩級(jí)交換單元進(jìn)行互聯(lián)，這存在兩個(gè)缺點(diǎn)：兩級(jí)交換單元會(huì)造成信號(hào)延遲變大；16個(gè)圖像處理單元可以通過(guò)6個(gè)交換單元實(shí)現(xiàn)互聯(lián)，采用兩級(jí)12個(gè)交換單元，造成成本增加。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的上述不足，本發(fā)明提供一種低延遲GPU冗余連接結(jié)構(gòu)、方法及系統(tǒng)，以解決上述技術(shù)問(wèn)題。

本發(fā)明提供一種低延遲GPU冗余連接結(jié)構(gòu)，包括：

多個(gè)GPU連接組，所述GPU連接組包括圖形處理單元、選擇單元、交換單元和連接器，所述選擇單元通過(guò)第一鏈路連接圖形處理單元；所述選擇單元通過(guò)第二鏈路連接交換單元；所述選擇單元通過(guò)第三鏈路連接所述連接器；所述選擇單元控制第一鏈路、第二鏈路和第三鏈路的通斷；所述圖形處理單元連接交換單元；所述多個(gè)GPU連接組之間通過(guò)所述連接器連接。

進(jìn)一步的，所述圖像處理單元包括8個(gè)GPU。

進(jìn)一步的，所述交換單元建立8個(gè)GPU之間的互聯(lián)。

進(jìn)一步的，所述結(jié)構(gòu)包括兩個(gè)GPU連接組。

進(jìn)一步的，所述選擇單元采用切換開(kāi)關(guān)，所述切換開(kāi)關(guān)的非切換端連接圖像處理單元；所述切換開(kāi)關(guān)的兩個(gè)切換端分別連接交換單元和連接器。

本發(fā)明還提供一種低延遲GPU冗余連接方法，所述方法包括：

判斷是否切換GPU系統(tǒng)的工作狀態(tài)：

若切換為正常工作狀態(tài)，則控制選擇單元啟用第一鏈路和第二鏈路并關(guān)閉第三鏈路；

若切換為冗余工作狀態(tài)，則控制選擇單元啟用第一鏈路和第三鏈路并關(guān)閉第二鏈路。

進(jìn)一步的，所述方法還包括：