[發(fā)明專利]用于共用GPU的方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010773883.5
• 申請(qǐng)日: 2020-08-04
• 公開(kāi)（公告）號(hào): CN111913794A
• 公開(kāi)（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 賀龍華
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于共用GPU的方法，包括：

接收目標(biāo)容器發(fā)起的GPU使用請(qǐng)求；

根據(jù)所述GPU使用請(qǐng)求確定目標(biāo)虛擬GPU；其中，所述目標(biāo)虛擬GPU為所有虛擬GPU中的至少一個(gè)，所述虛擬GPU通過(guò)對(duì)物理GPU使用虛擬化技術(shù)虛擬得到；

將與所述目標(biāo)虛擬GPU對(duì)應(yīng)的目標(biāo)物理GPU掛載至所述目標(biāo)容器。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述GPU使用請(qǐng)求確定目標(biāo)虛擬GPU，包括：

根據(jù)所述GPU使用請(qǐng)求確定所述目標(biāo)容器對(duì)GPU的需求數(shù)量；

在預(yù)設(shè)的GPU資源池中，選取出數(shù)量與所述需求數(shù)量一致的虛擬GPU，得到所述目標(biāo)虛擬GPU；其中，所述GPU資源池中記錄有所有處于空閑狀態(tài)的虛擬GPU的信息。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述選取出數(shù)量與所述需求數(shù)量一致的虛擬GPU，包括：

根據(jù)所述GPU使用請(qǐng)求確定所述目標(biāo)容器對(duì)GPU的需求類型；

選取出類型為所述需求類型、數(shù)量為所述需求數(shù)量的虛擬GPU。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述將與所述目標(biāo)虛擬GPU對(duì)應(yīng)的目標(biāo)物理GPU掛載至所述目標(biāo)容器，包括：

根據(jù)預(yù)設(shè)的對(duì)應(yīng)表查詢得到與所述目標(biāo)虛擬GPU對(duì)應(yīng)的目標(biāo)物理GPU；其中，所述對(duì)應(yīng)表記錄有每個(gè)物理GPU與其通過(guò)虛擬化技術(shù)虛擬出的各虛擬GPU之間的對(duì)應(yīng)關(guān)系；

將所述目標(biāo)GPU的虛擬配置信息替換為所述目標(biāo)物理GPU的真實(shí)配置信息；

根據(jù)所述真實(shí)配置信息將所述目標(biāo)物理GPU掛載至所述目標(biāo)容器。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，還包括：

響應(yīng)于所述目標(biāo)物理GPU被同時(shí)掛載至至少兩個(gè)容器，控制所述目標(biāo)物理GPU通過(guò)不同的進(jìn)程隔離來(lái)自不同容器的模型訓(xùn)練任務(wù)。

6.一種用于共用GPU的裝置，包括：

請(qǐng)求接收單元，被配置用于接收目標(biāo)容器發(fā)起的GPU使用請(qǐng)求；

虛擬GPU確定單元，被配置用于根據(jù)所述GPU使用請(qǐng)求確定目標(biāo)虛擬GPU；其中，所述目標(biāo)虛擬GPU為所有虛擬GPU中的至少一個(gè)，所述虛擬GPU通過(guò)對(duì)物理GPU使用虛擬化技術(shù)虛擬得到；

物理GPU掛載單元，被配置用于將與所述目標(biāo)虛擬GPU對(duì)應(yīng)的目標(biāo)物理GPU掛載至所述目標(biāo)容器。

7.根據(jù)權(quán)利要求6所述的裝置，其中，所述虛擬GPU確定單元包括：

需求數(shù)量確定子單元，被配置用于根據(jù)所述GPU使用請(qǐng)求確定所述目標(biāo)容器對(duì)GPU的需求數(shù)量；

目標(biāo)虛擬GPU選取子單元，被配置用于在預(yù)設(shè)的GPU資源池中，選取出數(shù)量與所述需求數(shù)量一致的虛擬GPU，得到所述目標(biāo)虛擬GPU；其中，所述GPU資源池中記錄有所有處于空閑狀態(tài)的虛擬GPU的信息。

8.根據(jù)權(quán)利要求7所述的裝置，其中，所述目標(biāo)虛擬GPU選取子單元進(jìn)一步被配置用于：

根據(jù)所述GPU使用請(qǐng)求確定所述目標(biāo)容器對(duì)GPU的需求類型；

選取出類型為所述需求類型、數(shù)量為所述需求數(shù)量的虛擬GPU。

9.根據(jù)權(quán)利要求6所述的裝置，其中，所述物理GPU掛載單元進(jìn)一步被配置用于：

根據(jù)預(yù)設(shè)的對(duì)應(yīng)表查詢得到與所述目標(biāo)虛擬GPU對(duì)應(yīng)的目標(biāo)物理GPU；其中，所述對(duì)應(yīng)表記錄有每個(gè)物理GPU與其通過(guò)虛擬化技術(shù)虛擬出的各虛擬GPU之間的對(duì)應(yīng)關(guān)系；

將所述目標(biāo)GPU的虛擬配置信息替換為所述目標(biāo)物理GPU的真實(shí)配置信息；

根據(jù)所述真實(shí)配置信息將所述目標(biāo)物理GPU掛載至所述目標(biāo)容器。

10.根據(jù)權(quán)利要求6至9任一項(xiàng)所述的裝置，還包括：

進(jìn)程隔離單元，被配置用于響應(yīng)于所述目標(biāo)物理GPU被同時(shí)掛載至至少兩個(gè)容器，控制所述目標(biāo)物理GPU通過(guò)不同的進(jìn)程隔離來(lái)自不同容器的模型訓(xùn)練任務(wù)。