[發(fā)明專利]一種設(shè)備的分配方法及其相關(guān)設(shè)備

有效

• 申請?zhí)枺?/td>: 201810160321.6
• 申請日: 2018-02-26
• 公開（公告）號: CN110196750B
• 公開（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 吳建邦
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

本申請實(shí)施例公開了一種設(shè)備的分配方法及其相關(guān)設(shè)備，用于給虛擬機(jī)分配互聯(lián)拓?fù)渥顑?yōu)的異構(gòu)設(shè)備組合，解決虛擬機(jī)中不同的異構(gòu)設(shè)備組合性能差異較大的問題。本申請實(shí)施例方法包括：接收控制服務(wù)器發(fā)送的分配請求，所述分配請求為所述控制服務(wù)器根據(jù)用戶的調(diào)用請求、所述業(yè)務(wù)服務(wù)器上的異構(gòu)設(shè)備信息及所述業(yè)務(wù)服務(wù)器上異構(gòu)設(shè)備的物理互聯(lián)拓?fù)湫畔⑸桑龇峙湔埱笾甘疚锢砘ヂ?lián)拓?fù)渎窂阶疃痰漠悩?gòu)設(shè)備組合；根據(jù)所述分配請求確定目標(biāo)異構(gòu)設(shè)備；對所述目標(biāo)異構(gòu)設(shè)備進(jìn)行虛擬化處理，得到目標(biāo)虛擬設(shè)備；將所述目標(biāo)虛擬設(shè)備分配給目標(biāo)虛擬機(jī)，所述目標(biāo)虛擬機(jī)根據(jù)所述調(diào)用請求確認(rèn)。

技術(shù)領(lǐng)域

本申請涉及通信領(lǐng)域，尤其涉及一種設(shè)備的分配方法及其相關(guān)設(shè)備。

背景技術(shù)

人工智能(artificial intelligence，AI)模型訓(xùn)練耗時(shí)長是當(dāng)前深度學(xué)習(xí)的關(guān)鍵問題，增加圖形處理器(Graphics Processing Unit，GPU)數(shù)量來并行計(jì)算是解決耗時(shí)的有效途徑。例如，在國際商業(yè)機(jī)器公司(international business machines corporation，IBM)高性能計(jì)算服務(wù)器上，使用ResNet-101網(wǎng)絡(luò)模型和ImageNet-22K數(shù)據(jù)集訓(xùn)練AI模型，需要16天時(shí)間；而使用2017年IBM發(fā)布可以支持256個(gè)GPU并行計(jì)算的深度學(xué)習(xí)庫，訓(xùn)練只需7小時(shí)，大大縮短訓(xùn)練時(shí)長。另外，深度學(xué)習(xí)模型訓(xùn)練計(jì)算依賴前序計(jì)算結(jié)果，如圖1所示，每個(gè)黑點(diǎn)代表在一個(gè)GPU上執(zhí)行計(jì)算。由此可以看出，深度學(xué)習(xí)模型訓(xùn)練計(jì)算需要多GPU間大量通信。所以，在引入大量GPU并行計(jì)算后，多GPU間通信性能是AI模型訓(xùn)練的關(guān)鍵路徑。

在虛擬機(jī)上提供AI云服務(wù)，需要通過虛擬化技術(shù)將物理機(jī)上的異構(gòu)設(shè)備呈現(xiàn)為虛擬設(shè)備，并分配給虛擬機(jī)使用，為了提升異構(gòu)設(shè)備間通信性能，現(xiàn)有技術(shù)普遍采用“感知設(shè)備的非一致存儲(chǔ)訪問結(jié)構(gòu)(non-uniform memory access，NUMA)節(jié)點(diǎn)屬性的虛擬設(shè)備分配技術(shù)”，即控制服務(wù)器會(huì)根據(jù)異構(gòu)設(shè)備的NUMA節(jié)點(diǎn)屬性給業(yè)務(wù)服務(wù)器上的虛擬機(jī)分配異構(gòu)設(shè)備，如圖2所示，控制服務(wù)器會(huì)分配同一中央處理器(central processing unit，CPU)下的GPU組合給業(yè)務(wù)服務(wù)器中的虛擬機(jī)，圖中包括內(nèi)存控制器中心(memory controller hub，MCH),MCH負(fù)責(zé)連接CPUH和快速外圍組件互連(Peripheral Component InterconnectExpress，PCIe)總線；如表1所示，表1為圖2系統(tǒng)框架圖對應(yīng)的不同兩塊GPU組合間的通信帶寬，由表1可知，在相同NUMA節(jié)點(diǎn)下，GPU-0與GPU-3通信性能是19.63GB/s，GPU-0和GPU-1通信性能最好，達(dá)到25.27GB/s，相同NUMA節(jié)點(diǎn)下性能差距約為1.3倍。

表1：