[發明專利]一種集群任務處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010713638.5
• 申請日: 2020-07-22
• 公開（公告）號: CN111885158B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 張馭洲
• 申請（專利權）人: 曙光信息產業(北京)有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L9/40
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本申請提供一種集群任務處理方法、裝置、電子設備及存儲介質。方法包括：集群中的登錄節點接收任務信息，所述任務信息包括任務參數和任務分發結構參數；所述登錄節點根據所述任務分發結構參數確定并選擇對應的目標任務分發結構；其中，所述目標任務分發結構為預先配置好的；所述登錄節點利用所述目標任務分發結構將所述任務信息分發給集群中的計算節點，以使所述計算節點根據所述任務參數執行對應的任務。本申請實施例通過預先配置多個任務分發結構，并根據不同的開銷的任務選擇不同的任務分發結構，保證任務能夠盡快分發到各個計算節點，提高了任務分發的效率。

技術領域

本申請涉及計算機集群技術領域，具體而言，涉及一種集群任務處理方法、裝置、電子設備及存儲介質。

背景技術

隨著社會的發展和科技的進步，人類對于計算能力的需求越來越高。近年來，大型超級計算集群層出不窮。計算能力與日俱增的同時，集群節點數也越來越多，數千乃至上萬節點的集群已經不再罕見。如此規模巨大的集群給調試、管理和維護等集群操作帶來了巨大的挑戰，例如批量安裝操作系統、節點狀態檢查、分發文件等等。單節點或者小規模集群上普通的操作，如果在規模巨大的集群上串行進行，其成百上千倍的執行時間增長顯然是無法接受的。即使在集群上并行批量執行，由于單節點負載能力、節點間網絡延遲與帶寬等限制，時間開銷也往往遠大于小規模時的情況。快速高效的集群任務批量執行方法對于大規模集群的建設與維護能夠起到重要的支持作用。

任務的分發對大規模集群任務的執行效率有重要的影響，現有技術一般在一個主節點上向所有執行節點分發命令，當集群規模很大時會面臨嚴重的單節點、單網絡鏈路性能問題，進而導致任務分發效率低的問題。

發明內容

本申請實施例的目的在于提供一種集群任務處理方法、裝置、電子設備及存儲介質，用以解決現有技術中任務分發效率低的問題。

第一方面，本申請實施例提供一種集群任務處理方法，包括：集群中的登錄節點接收任務信息，所述任務信息包括任務參數和任務分發結構參數；所述登錄節點根據所述任務分發結構參數確定并選擇對應的目標任務分發結構；其中，所述目標任務分發結構為預先配置好的；所述登錄節點利用所述目標任務分發結構將所述任務信息分發給集群中的計算節點，以使所述計算節點根據所述任務參數執行對應的任務。

本申請實施例通過預先配置多個任務分發結構，并根據不同的開銷的任務選擇不同的任務分發結構，保證任務能夠盡快分發到各個計算節點，提高了任務分發的效率。

進一步地，所述集群包括多個接入層交換機、至少一個登錄節點、至少一個管理節點和多個計算節點；所述登錄節點、所述管理節點和所述計算節點均與對應的接入層交換機通信連接；所述在所述登錄節點根據所述任務分發結構參數確定對應的目標任務分發結構之前，所述方法還包括：通過如下方式預先配置多個集群任務分發結構：將一個接入層交換機或多個接入層交換機對應的計算節點分為一組，并且將集群中的登錄節點和管理節點分散配置到各組中；將所述集群中的登錄節點配置為分發任務的主節點；從每個分組中選擇一個節點配置為頭節點。

本申請實施例通過將臨近的接入層交換機對應的節點劃分為一組，相比任意劃分，減少了整個集群任務執行時所經過的網絡連接跳數，提高集群任務的執行效率。

進一步地，所述從每個分組中選擇一個節點配置為頭節點，包括：若分組中包括至少一個管理節點，則將任意一個管理節點配置為頭節點；若分組中沒有管理節點，則從對應的計算節點中選擇一個配置為頭節點。

進一步地，所述方法還包括：針對每一分組，若分組中包括管理節點和計算節點，將分組中的管理節點分為一層，計算節點作為管理節點對應層的下一層。

本申請實施例通過從每個分組中選擇一個節點作為頭節點，能夠用于接收主節點發送的任務，并且將任務分發到組內的計算節點，以使計算節點處理該任務，避免了主節點直接向各個組中的計算節點進行任務的分發，使得主節點的負載過大的問題。