[發明專利]一種高并發的GPU集群架構及其負載均衡方法

在審

• 申請號: 201711405471.0
• 申請日: 2017-12-22
• 公開（公告）號: CN108153593A
• 公開（公告）日: 2018-06-12
• 發明（設計）人: 陳擁權;鄭榮穩;陳學三
• 申請（專利權）人: 合肥寰景信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 馮子玲

本發明公開了一種高并發的GPU集群架構及其負載均衡方法。涉及GPU集群架構及其負載均衡方法技術領域。包括任務分布節點、若干計算節點；計算節點間采用分布式計算方式；計算節點包含若干CPU和若干GPU；計算節點內采用異構架構；節點包含若干設備；設備包含節點內全部CPU或任一GPU；計算節點內CPU共享存儲器；計算節點內GPU獨享其內DRAM；計算節點內GPU與CPU共享存儲器。本發明通過GPU集群架構的任務分布節點對計算節點的負載均衡，實現了GPU集群的優化和對計算節點的負載均衡，優化了GPU集群架構，提高了GPU集群的負載均衡方法和GPU計算節點的計算效率。

技術領域

本發明屬于GPU集群架構及其負載均衡方法技術領域，特別是涉及一種高并發的GPU集群架構及其負載均衡方法。

背景技術

GPU因其高性能的并行計算能力而被廣泛用于分布式集群中的并行計算。在高并發的集群中多采用CPU+GPU混合計算節點；在CPU+GPU混合計算節點中的CPU與GPU有多種組合方式：單CPU與多GPU組合、單CPU與單GPU組合、多CPU與多GPU組合。

GPU集群的計算和運行效率取決于GPU集群的架構以及對GPU集群中運算節點的利用。為實現GPU集群計算和運行的高效率，本發明致力于發明一種高并發的GPU集群架構，以解決GPU集群架構不合理以及負載均衡方法差導致的GPU集群運行和計算的效率低的問題。

發明內容

本發明的目的在于提供一種高并發的GPU集群架構及其負載均衡方法，通過GPU集群架構的任務分布節點對計算節點的負載均衡，實現了GPU集群的優化和對計算節點的負載均衡，解決了現有的GPU集群架構不合理以及負載均衡方法差導致GPU集群運行和計算效率低的問題。

為解決上述技術問題，本發明是通過以下技術方案實現的：

本發明為一種高并發的GPU集群架構及其負載均衡方法，包括任務分布節點、若干計算節點；所述計算節點間采用分布式計算方式；所述計算節點包含若干CPU和若干GPU；所述計算節點內采用異構架構；所述節點包含若干設備；所述設備包含節點內全部所述CPU或任一所述GPU；所述計算節點內CPU共享存儲器；所述計算節點內GPU獨享其內DRAM；所述計算節點內GPU與CPU共享存儲器。

優選地，所述任務分布節點與計算節點、計算節點間均采用MPI消息通信；所述任務分布節點內存儲作業列表；所述作業列表包含當前作業類型、計算量需求、存儲量需求、網絡需求。

優選地，所述異構架構采用CPU線程或CPU進程調度GPU的運行方式。

優選地，若所述計算節點內只包含單核CPU與若干GPU連接,則所述CPU進行邏輯和事務串行計算；所述GPU進行并行計算；若所述計算節點內包含多核CPU與若干GPU連接；則所述CPU進行邏輯和事務串行計算、并行計算；所述GPU進行并行計算。

優選地，所述CPU采用MPI進程、pThread線程控制CPU核并行計算；所述GPU采用CUDA或OpenCL編程控制GPU眾核并行計算。

一種高并發的GPU集群架構的負載均衡方法，步驟如下：

S00：GPU集群中任務分布節點獲取作業列表中的當前作業；

S01：任務分布節點分析計算量需求、存儲量需求、網絡需求；

S02：任務分布節點根據節點信息列表匹配當前作業至計算節點；

S03：任務分布節點根據計算節點定時反饋更新節點信息列表。

優選地，所述節點信息列表包括節點IP、CPU利用率、進程數量、GPU利用率、剩余存儲空間。

優選地，所述任務分布節點根據節點信息列表匹配當前作業至計算節點的步驟如下：