[發(fā)明專利]一種高并發(fā)的GPU集群架構(gòu)及其負(fù)載均衡方法

在審

• 申請?zhí)枺?/td>: 201711405471.0
• 申請日: 2017-12-22
• 公開（公告）號: CN108153593A
• 公開（公告）日: 2018-06-12
• 發(fā)明（設(shè)計）人: 陳擁權(quán);鄭榮穩(wěn);陳學(xué)三
• 申請（專利權(quán)）人: 合肥寰景信息技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海精晟知識產(chǎn)權(quán)代理有限公司 31253
• 代理人: 馮子玲

1.一種高并發(fā)的GPU集群架構(gòu)，其特征在于，包括任務(wù)分布節(jié)點、若干計算節(jié)點；

所述計算節(jié)點間采用分布式計算方式；所述計算節(jié)點包含若干CPU和若干GPU；所述計算節(jié)點內(nèi)采用異構(gòu)架構(gòu)；所述節(jié)點包含若干設(shè)備；所述設(shè)備包含節(jié)點內(nèi)全部所述CPU或任一所述GPU；所述計算節(jié)點內(nèi)CPU共享存儲器；所述計算節(jié)點內(nèi)GPU獨享其內(nèi)DRAM；所述計算節(jié)點內(nèi)GPU與CPU共享存儲器。

2.根據(jù)權(quán)利要求1所述的一種高并發(fā)的GPU集群架構(gòu)，其特征在于，所述任務(wù)分布節(jié)點與計算節(jié)點、計算節(jié)點間均采用MPI消息通信；所述任務(wù)分布節(jié)點內(nèi)存儲作業(yè)列表；所述作業(yè)列表包含當(dāng)前作業(yè)類型、計算量需求、存儲量需求、網(wǎng)絡(luò)需求。

3.根據(jù)權(quán)利要求1所述的一種高并發(fā)的GPU集群架構(gòu)，其特征在于，所述異構(gòu)架構(gòu)采用CPU線程或CPU進(jìn)程調(diào)度GPU的運行方式。

4.根據(jù)權(quán)利要求1所述的一種高并發(fā)的GPU集群架構(gòu)，其特征在于，若所述計算節(jié)點內(nèi)只包含單核CPU與若干GPU連接,則所述CPU進(jìn)行邏輯和事務(wù)串行計算；所述GPU進(jìn)行并行計算；若所述計算節(jié)點內(nèi)包含多核CPU與若干GPU連接；則所述CPU進(jìn)行邏輯和事務(wù)串行計算、并行計算；所述GPU進(jìn)行并行計算。

5.根據(jù)權(quán)利要求1所述的一種高并發(fā)的GPU集群架構(gòu)，其特征在于，所述CPU采用MPI進(jìn)程、pThread線程控制CPU核并行計算；所述GPU采用CUDA或OpenCL編程控制GPU眾核并行計算。

6.根據(jù)權(quán)利要求1-5任一所述的一種高并發(fā)的GPU集群架構(gòu)的負(fù)載均衡方法，其特征在于，步驟如下：

S00：GPU集群中任務(wù)分布節(jié)點獲取作業(yè)列表中的當(dāng)前作業(yè)；

S01：任務(wù)分布節(jié)點分析計算量需求、存儲量需求、網(wǎng)絡(luò)需求；

S02：任務(wù)分布節(jié)點根據(jù)節(jié)點信息列表匹配當(dāng)前作業(yè)至計算節(jié)點；

S03：任務(wù)分布節(jié)點根據(jù)計算節(jié)點定時反饋更新節(jié)點信息列表。

7.根據(jù)權(quán)利要求6所述的一種高并發(fā)的GPU集群架構(gòu)的負(fù)載均衡方法，其特征在于，所述節(jié)點信息列表包括節(jié)點IP、CPU利用率、進(jìn)程數(shù)量、GPU利用率、剩余存儲空間。

8.根據(jù)權(quán)利要去6所述的一種高并發(fā)的GPU集群構(gòu)架的負(fù)載均衡方法，其特征在于，所述任務(wù)分布節(jié)點根據(jù)節(jié)點信息列表匹配當(dāng)前作業(yè)至計算節(jié)點的步驟如下：

所述任務(wù)分布節(jié)點根據(jù)節(jié)點信息列表判斷是否存在空閑節(jié)點，若存在，則任務(wù)分布節(jié)點有限匹配當(dāng)前作業(yè)至計算節(jié)點，若不存在，則任務(wù)分布節(jié)點從滿足計算需求、存儲需求、網(wǎng)絡(luò)需求的計算節(jié)點中選擇GPU利用率最低的計算節(jié)點。