[發(fā)明專利]一種系統(tǒng)資源的調(diào)度方法，裝置、機(jī)器可讀介質(zhì)和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911403771.4
• 申請日: 2019-12-31
• 公開（公告）號: CN111158879A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計）人: 苗澤林
• 申請（專利權(quán)）人: 上海依圖網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F15/78
• 代理公司: 上海華誠知識產(chǎn)權(quán)代理有限公司 31300
• 代理人: 徐穎聰

本發(fā)明涉及計算機(jī)軟件領(lǐng)域，特別地公開了一種系統(tǒng)資源的調(diào)度方法，裝置、機(jī)器可讀介質(zhì)和系統(tǒng)。系統(tǒng)資源的調(diào)度方法，包括：獲取系統(tǒng)中的每個節(jié)點的可用資源量，其中，系統(tǒng)包括多個節(jié)點；接收目標(biāo)任務(wù)，計算目標(biāo)任務(wù)的資源占用量；將目標(biāo)任務(wù)分配至集群中可用資源量超過目標(biāo)任務(wù)的資源占用量的節(jié)點上，其中，接收目標(biāo)任務(wù)的節(jié)點為可用資源量超過目標(biāo)任務(wù)的資源占用量的節(jié)點中可用資源最小的節(jié)點。本發(fā)明提供的系統(tǒng)資源的方法，系統(tǒng)資源能夠被最大化。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)軟件領(lǐng)域，特別地公開了一種系統(tǒng)資源的調(diào)度方法，裝置、機(jī)器可讀介質(zhì)和系統(tǒng)。

背景技術(shù)

在大數(shù)據(jù)時代，海量數(shù)據(jù)的處理對計算機(jī)的計算能力要求較高，海量數(shù)據(jù)的處理無法在單臺計算機(jī)上完成。目前，現(xiàn)已有許多基于CPU(Central Processing Unit，中央處理器)計算的分布式計算平臺用來處理海量數(shù)據(jù)。然而，由于GPU具有良好的并行計算能力，對于浮點運(yùn)算、通用計算、圖像處理等計算應(yīng)用場景，GPU可以提供數(shù)十倍乃至于上百倍于CPU的性能。但對于跨機(jī)多GPU的使用，卻還沒有很好的解決方案，多GPU的使用仍然依賴于程序開發(fā)者實現(xiàn)協(xié)同調(diào)度。

現(xiàn)有基于K8S的容器調(diào)度在GPU顯卡共享調(diào)度上的一般性做法是是利用腳本生成容器啟動時候的配置文件，通過配置文件中的環(huán)境變量傳遞容器內(nèi)算法程序需要的顯卡設(shè)備信息，這種做法只能應(yīng)對小規(guī)模部署結(jié)構(gòu)簡單的情況，但是如果面對很多規(guī)模不等企業(yè)級用戶，調(diào)度邏輯就需要靈活，帶來了一定的復(fù)雜性。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N系統(tǒng)資源的調(diào)度方法，包括：

獲取系統(tǒng)中的每個節(jié)點的可用資源量，其中，系統(tǒng)包括多個節(jié)點；

接收目標(biāo)任務(wù)，計算目標(biāo)任務(wù)的資源占用量；

將目標(biāo)任務(wù)分配至集群中可用資源量超過目標(biāo)任務(wù)的資源占用量的節(jié)點上，其中，接收目標(biāo)任務(wù)的節(jié)點為可用資源量超過目標(biāo)任務(wù)的資源占用量的節(jié)點中可用資源最小的節(jié)點。

可選地，將目標(biāo)任務(wù)分配至集群中可用資源量超過目標(biāo)任務(wù)的資源占用量的節(jié)點上時，還包括：

在接收到多個目標(biāo)任務(wù)的情況下，按目標(biāo)任務(wù)的資源占用量升序排序后，將系統(tǒng)資源分配至目標(biāo)任務(wù)。

可選地，還包括：

在集群中的所有節(jié)點中每一個節(jié)點的可用資源量小于目標(biāo)任務(wù)的資源占用量的情況下，將目標(biāo)任務(wù)的狀態(tài)設(shè)置為掛起。

可選地，還包括：

在存在狀態(tài)為掛起的目標(biāo)任務(wù)的情況下，接收到新生成的目標(biāo)任務(wù)時，優(yōu)先分配狀態(tài)為掛起的目標(biāo)任務(wù)。

可選地，還包括：

在目標(biāo)任務(wù)執(zhí)行完成，節(jié)點的可用資源量被釋放且可用資源量超過狀態(tài)為掛起的目標(biāo)任務(wù)的資源占用量的情況下，將狀態(tài)為掛起的目標(biāo)任務(wù)分配至節(jié)點。

本申請還提供了一種系統(tǒng)資源的調(diào)度裝置，包括：

獲取模塊，獲取模塊用于獲取系統(tǒng)中的每個節(jié)點的可用資源量，其中，系統(tǒng)包括多個節(jié)點；

任務(wù)模塊，任務(wù)模塊用于接收目標(biāo)任務(wù)，計算目標(biāo)任務(wù)的資源占用量；

調(diào)度模塊，調(diào)度模塊用于將目標(biāo)任務(wù)分配至集群中可用資源量超過目標(biāo)任務(wù)的資源占用量的節(jié)點上，其中，接收目標(biāo)任務(wù)的節(jié)點為可用資源量超過目標(biāo)任務(wù)的資源占用量的節(jié)點中可用資源最小的節(jié)點。

可選地，調(diào)度模塊將目標(biāo)任務(wù)分配至集群中可用資源量超過目標(biāo)任務(wù)的資源占用量的節(jié)點上時，

調(diào)度模塊還用于在接收到多個目標(biāo)任務(wù)的情況下，按目標(biāo)任務(wù)的資源占用量升序排序后，將系統(tǒng)資源分配至目標(biāo)任務(wù)。

可選地，