[發(fā)明專利]一種實(shí)現(xiàn)GPU虛擬化的方法、裝置和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010438504.7
• 申請(qǐng)日: 2020-05-21
• 公開（公告）號(hào): CN111638953B
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 曾李志;方陽;肖鵬
• 申請(qǐng)（專利權(quán)）人: 貝殼找房（北京）科技有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 鄭紅娟;宋志強(qiáng)

本申請(qǐng)公開了一種實(shí)現(xiàn)GPU虛擬化的方法、裝置和存儲(chǔ)介質(zhì)，具體包括：為應(yīng)用服務(wù)請(qǐng)求分配工作節(jié)點(diǎn)下的GPU，利用創(chuàng)建的容器運(yùn)行應(yīng)用服務(wù)請(qǐng)求對(duì)應(yīng)的應(yīng)用服務(wù)實(shí)例，并在分配的GPU上運(yùn)行應(yīng)用服務(wù)進(jìn)程。獲取工作節(jié)點(diǎn)監(jiān)控的GPU運(yùn)行信息和容器運(yùn)行信息，并確定應(yīng)用服務(wù)實(shí)例和應(yīng)用服務(wù)進(jìn)程之間的關(guān)聯(lián)關(guān)系，基于所述關(guān)聯(lián)關(guān)系，在GPU內(nèi)存實(shí)際占用量超出GPU內(nèi)存申請(qǐng)量時(shí)，利用預(yù)設(shè)的軟隔離機(jī)制對(duì)所述應(yīng)用服務(wù)請(qǐng)求進(jìn)行隔離處理。應(yīng)用本申請(qǐng)方法實(shí)施例可以充分利用GPU資源，且在超出GPU內(nèi)存申請(qǐng)量時(shí)，采用軟隔離機(jī)制對(duì)應(yīng)用服務(wù)請(qǐng)求進(jìn)行隔離處理，保護(hù)同一個(gè)GPU上其他應(yīng)用服務(wù)請(qǐng)求的正常運(yùn)行。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種實(shí)現(xiàn)GPU虛擬化的方法、一種實(shí)現(xiàn)GPU虛擬化的系統(tǒng)、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及一種電子設(shè)備。

背景技術(shù)

圖形處理單元(GPU，Graphics Processing Unit)是一種價(jià)格昂貴但計(jì)算能力超強(qiáng)的芯片處理器。為了更好地利用GPU資源，對(duì)于算力要求不太高的比如模型研發(fā)或者推理預(yù)測(cè)場(chǎng)景的服務(wù)，可以將一個(gè)物理GPU虛擬化，視為多個(gè)虛擬GPU，提供給多個(gè)服務(wù)使用。現(xiàn)有的GPU虛擬化方案(比如阿里GPUShare)目前雖然可以通過資源調(diào)度讓多個(gè)服務(wù)同時(shí)運(yùn)行在同一個(gè)物理GPU上，但對(duì)多個(gè)服務(wù)運(yùn)行時(shí)使用的GPU內(nèi)存資源卻沒有隔離。如果不對(duì)服務(wù)運(yùn)行時(shí)所需的GPU內(nèi)存資源進(jìn)行隔離，那么在某個(gè)服務(wù)使用GPU內(nèi)存資源泛濫時(shí)，可能無法保證同一個(gè)GPU上其他應(yīng)用服務(wù)正常運(yùn)行的需求。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)，本申請(qǐng)實(shí)施例公開一種實(shí)現(xiàn)GPU虛擬化的方法，可以對(duì)應(yīng)用服務(wù)請(qǐng)求在GPU上的內(nèi)存資源進(jìn)行隔離，達(dá)到保護(hù)同一GPU上其他應(yīng)用服務(wù)正常運(yùn)行的目的。

本申請(qǐng)實(shí)施例提供的一種實(shí)現(xiàn)GPU虛擬化的方法，該方法具體包括：

為應(yīng)用服務(wù)請(qǐng)求分配工作節(jié)點(diǎn)下的GPU，所述應(yīng)用服務(wù)請(qǐng)求攜帶有GPU內(nèi)存申請(qǐng)量；所述工作節(jié)點(diǎn)利用創(chuàng)建的容器運(yùn)行所述應(yīng)用服務(wù)請(qǐng)求對(duì)應(yīng)的應(yīng)用服務(wù)實(shí)例，并在分配的GPU上運(yùn)行應(yīng)用服務(wù)進(jìn)程；

獲取所述工作節(jié)點(diǎn)監(jiān)控的GPU運(yùn)行信息和容器運(yùn)行信息，并根據(jù)所述GPU運(yùn)行信息和容器運(yùn)行信息確定所述應(yīng)用服務(wù)實(shí)例和所述應(yīng)用服務(wù)進(jìn)程之間的關(guān)聯(lián)關(guān)系，所述GPU運(yùn)行信息表示在分配的GPU上運(yùn)行所述應(yīng)用服務(wù)進(jìn)程狀況的信息，所述容器運(yùn)行信息表示在創(chuàng)建的容器上運(yùn)行所述應(yīng)用服務(wù)實(shí)例狀況的信息；

基于所述應(yīng)用服務(wù)實(shí)例和所述應(yīng)用服務(wù)進(jìn)程之間的關(guān)聯(lián)關(guān)系，在所述應(yīng)用服務(wù)進(jìn)程對(duì)應(yīng)的GPU內(nèi)存實(shí)際占用量超出所述應(yīng)用服務(wù)實(shí)例對(duì)應(yīng)的所述GPU內(nèi)存申請(qǐng)量時(shí)，利用預(yù)設(shè)的軟隔離機(jī)制對(duì)所述應(yīng)用服務(wù)請(qǐng)求進(jìn)行隔離處理。

進(jìn)一步地，

所述獲取工作節(jié)點(diǎn)監(jiān)控的GPU運(yùn)行信息的步驟包括：

接收所述工作節(jié)點(diǎn)采集到的GPU運(yùn)行信息，其中所述工作節(jié)點(diǎn)按照設(shè)置的采集時(shí)間間隔調(diào)用所述分配的GPU的驅(qū)動(dòng)接口，獲取所述應(yīng)用服務(wù)進(jìn)程的GPU運(yùn)行信息，所述GPU運(yùn)行信息包括當(dāng)前線程ID和對(duì)應(yīng)的GPU內(nèi)存實(shí)際占用量，所述當(dāng)前線程ID為所述應(yīng)用服務(wù)進(jìn)程在分配的GPU上當(dāng)前運(yùn)行線程的標(biāo)識(shí)；且所述工作節(jié)點(diǎn)上報(bào)采集到的所述GPU運(yùn)行信息。

進(jìn)一步地，

所述獲取工作節(jié)點(diǎn)監(jiān)控的容器運(yùn)行信息的步驟包括：

接收所述工作節(jié)點(diǎn)采集到的容器運(yùn)行信息，其中所述工作節(jié)點(diǎn)獲取運(yùn)行所述應(yīng)用服務(wù)實(shí)例的容器對(duì)應(yīng)的容器標(biāo)識(shí)；所述工作節(jié)點(diǎn)獲取所述應(yīng)用服務(wù)實(shí)例對(duì)應(yīng)的所述GPU內(nèi)存申請(qǐng)量；所述工作節(jié)點(diǎn)將所述容器標(biāo)識(shí)和所述GPU內(nèi)存申請(qǐng)量作為所述容器運(yùn)行信息并上報(bào)。

進(jìn)一步地，

所述根據(jù)GPU運(yùn)行信息和容器運(yùn)行信息確定所述應(yīng)用服務(wù)實(shí)例和所述應(yīng)用服務(wù)進(jìn)程之間的關(guān)聯(lián)關(guān)系的步驟包括：