[發(fā)明專利]GPU資源的管理分配方法和管理分配裝置

在審

• 申請?zhí)枺?/td>: 201611209022.4
• 申請日: 2016-12-23
• 公開（公告）號: CN108241532A
• 公開（公告）日: 2018-07-03
• 發(fā)明（設計）人: 李遠策
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 王增鑫

本發(fā)明提供了一種GPU資源的管理分配方法和管理分配裝置，該管理分配方法包括：監(jiān)測到任一資源節(jié)點下的任一GPU的狀態(tài)發(fā)生變化時，獲取所述任一GPU的狀態(tài)信息；基于獲取到的所述任一GPU的狀態(tài)信息，更新所述任一資源節(jié)點下的GPU資源信息；接收到來自待運行任務的GPU資源分配請求時，基于多個資源節(jié)點下的GPU資源信息，對GPU資源進行分配。本發(fā)明技術方案不僅能夠提供給該待運行任務內(nèi)存資源、CPU資源以及網(wǎng)絡資源，還能提供給該待運行任務GPU資源，以保證待運行任務的穩(wěn)定運行，并最終提高分布式存儲系統(tǒng)處理和分析大數(shù)據(jù)的性能；且不會導致該資源節(jié)點GPU超負荷運行情況的發(fā)生。

技術領域

本發(fā)明涉及計算機領域，具體而言，本發(fā)明涉及一種GPU資源的管理分配方法和一種GPU資源的管理分配裝置。

背景技術

隨著互聯(lián)網(wǎng)的發(fā)展，大數(shù)據(jù)技術的浪潮也正在席卷全球，成為一種新的生產(chǎn)力技術。大數(shù)據(jù)技術不僅僅指獲得海量數(shù)據(jù)，更重要的意義是通過對海量數(shù)據(jù)的分析、整合來獲得隱藏在數(shù)據(jù)背后的有價值的信息。

由于大數(shù)據(jù)的特點就是數(shù)據(jù)的數(shù)量多，使得對大數(shù)據(jù)進行存儲管理時面臨著巨大的挑戰(zhàn)，而這個問題可以通過分布式存儲技術來解決。分布式存儲技術是通過分布式存儲系統(tǒng)將大數(shù)據(jù)分散存儲在由多臺獨立的設備形成的設備集群上。由于分布式存儲系統(tǒng)采用可擴展的系統(tǒng)結構，利用多臺獨立存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，這不但提高了分布式存儲系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。

為了更好地使分布式存儲系統(tǒng)對大數(shù)據(jù)進行分析處理，編程人員需要在分布式存儲系統(tǒng)的數(shù)據(jù)處理引擎上編譯程序并將編譯好的程序提交到分布式存儲系統(tǒng)中，為編譯好的程序分配運行資源并創(chuàng)建運行環(huán)境，從而對編譯好的程序進行運行。但，由于分布式存儲系統(tǒng)只對例如，內(nèi)存資源、CPU資源和網(wǎng)絡資源等進行管理和分配，并不對GPU資源進行管理和分配，且編譯好的程序需要配置GPU資源才能運行，則會造成分布式存儲系統(tǒng)分配給編譯好的程序的運行資源無法滿足GPU資源需求，編譯好的程序也就無法運行或伴隨GPU超負荷運行，從而給編程人員帶來不便，甚至導致整個分布存儲系統(tǒng)的崩潰。所以如何保證該編譯好的程序能夠穩(wěn)定運行，是解決上述問題的關鍵。

發(fā)明內(nèi)容

為克服上述技術問題或者至少部分地解決上述技術問題，特提出以下技術方案：

本發(fā)明的實施例提出了一種GPU資源的管理分配方法，包括：

監(jiān)測到任一資源節(jié)點下的任一GPU的狀態(tài)發(fā)生變化時，獲取任一GPU的狀態(tài)信息；

基于獲取到的任一GPU的狀態(tài)信息，更新任一資源節(jié)點下的GPU資源信息；

接收到來自待運行任務的GPU資源分配請求時，基于多個資源節(jié)點下的GPU資源信息，對GPU資源進行分配。

優(yōu)選地，基于獲取到的任一GPU的狀態(tài)信息，更新任一資源節(jié)點下的GPU資源信息的步驟，具體包括：

在預存儲的多個資源節(jié)點下的GPU資源信息中查找并確定與任一GPU相應的狀態(tài)標識信息；

基于獲取到的任一GPU的狀態(tài)信息，對狀態(tài)標識信息指示的GPU資源信息進行更新。

優(yōu)選地，資源節(jié)點下的GPU資源信息通過以下任一存儲格式進行預存儲：

位圖存儲格式；數(shù)組存儲格式；key-value存儲格式。

優(yōu)選地，基于多個資源節(jié)點下的GPU資源信息，對GPU資源進行分配，包括以下至少一種分配方式：

基于資源節(jié)點的標識信息的排列順序，順序查找多個資源節(jié)點下的GPU資源信息中，滿足GPU資源分配請求的任一資源節(jié)點下的空閑GPU資源，并將該任一資源節(jié)點下的空閑GPU資源分配至待運行任務；或