[發明專利]計算資源分配方法、任務處理方法及裝置

有效

• 申請號: 201811195528.3
• 申請日: 2018-10-15
• 公開（公告）號: CN109582447B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 毛恒
• 申請（專利權）人: 中盈優創資訊科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤

本發明提供了一種計算資源分配方法、任務處理方法及裝置，該分配方法包括：在集群具有可用資源的情況下，發送資源鎖定指令至至少一個主機，以利用所述至少一個主機鎖定所述可用資源；接收任務的資源申請，并根據所述資源申請將至少部分的鎖定的所述可用資源分配給所述任務，以利用一個所述主機綁定的一個端口執行所述任務。通過上述方案能夠使得資源得到最大化利用。

技術領域

本發明涉及計算機技術領域，尤其涉及一種計算資源分配方法、任務處理方法及裝置。

背景技術

Hadoop集群中，資源調度通常是通過yarn來管理，但Yarn的資源管理不夠靈活。不管是公平調度還是容器調度，在調度內的多個任務之間要么使用FIFO(First Input FirstOutput，先入先出)的原則，要么使用公平共享原則，但這兩種分配原則在使用場景上都有一定缺陷。前者可能是因為一個大任務申請不到足夠資源，阻塞住后續一串剩余資源足以計算的小任務，后者則是因為在多項任務并發申請的時候平攤剩余資源，每一個任務的執行效率都被降低很多，無法根據優先級彈性分配資源。

一種解決方案是，在安裝了Hadoop客戶端的設備上，提前將集群資源申請下來，并綁定在設備的某個端口上，后續可以通過向該端口發送http請求的方式獲取其提前申請到的所有資源，執行計算任務。

然而，雖然這種解決方案可以比較靈活的對集群的資源進行規劃，確保重要性或優先級較高的任務可以獲得更多的資源分配，但因為預分配的所有資源會被一直占用，所以，在并發任務較多的場景下，會出現部分http server占用了資源但沒有任務，或者僅有部分占用資源被用來執行任務，同時存在部分http server的任務出現了積壓但申請不到資源的情況。

發明內容

有鑒于此，本發明提供了一種計算資源分配方法、任務處理方法及裝置，以使資源得到最大化利用。

為了實現上述目的，本發明采用以下方案：

在本發明一實施例中，計算資源分配方法，包括：

在集群具有可用資源的情況下，發送資源鎖定指令至至少一個主機，以利用所述至少一個主機鎖定所述可用資源；

接收任務的資源申請，并根據所述資源申請將至少部分的鎖定的所述可用資源分配給所述任務，以利用一個所述主機綁定的一個端口執行所述任務。

在本發明一實施例中，任務處理方法，包括：

接收任務，并利用上述實施例所述的計算資源分配方法將集群的可用資源分配至所述任務；

根據分配的所述集群的可用資源利用主機向所述集群申請資源，并利用申請的資源執行所述任務。

在本發明一實施例中，計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述實施例所述方法的步驟。

在本發明一實施例中，計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現上述實施例所述方法的步驟。

本發明的計算資源分配方法、任務處理方法、計算資源分配裝置、任務處理系統、計算機設備及計算機可讀存儲介質，通過將集群所具有的可用資源鎖定下來，并根據任務資源申請將至少部分的鎖定的可用資源分配給該任務，能夠靈活地根據需求分配資源，而且，通過使得利用一個端口執行該任務，能夠使得不同任務在執行時互不影響，因此，通過本方案能夠使資源得到最大化利用。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。在附圖中：