[發明專利]基于集群的任務提交方法、計算機程序產品及電子設備

有效

• 申請號: 202110604816.5
• 申請日: 2021-05-31
• 公開（公告）號: CN113254177B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 黃海升;陳武
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本申請提供基于集群的任務提交方法、計算機程序產品及電子設備，所述方法包括：獲取任務的數據時間；獲取所述任務預存的偏移時間，所述偏移時間至少根據所述任務的執行時長以及預設的期望完成時間確定；根據所述數據時間與所述偏移時間計算所述任務的提交時間；根據所述提交時間，向集群提交所述任務。通過編排任務提交邏輯，使得任務按照一定的時間順序提交，可以確保任務在期望完成時間內完成，保證了任務執行的時效性。

技術領域

本申請涉及大數據技術領域，尤其涉及基于集群的任務提交方法、計算機程序產品及電子設備。

背景技術

集群調度系統是現代數據中心舉足輕重的組件，其配置規模也在不斷地擴大。集群調度系統的核心部分包括任務調度和資源調度，集群調度系統不但要為所提交的任務分配合適的資源，使得各任務在所分配的資源上執行，同時還要跟蹤和監控任務的執行結果。集群調度系統需要盡可能提高資源使用率，減少任務的等待時間、運行延遲時間，使得各任務在所要求的時間前完成執行。然而，集群調度系統的計算資源是有限的，如何在有限的計算資源下使得盡可能多的任務能在期望時間內完成，是本領域長期以來亟需解決的技術問題。

發明內容

本申請提供了基于集群的任務提交方法、計算機程序產品及電子設備，可以在有限的計算資源下，使得盡可能多的任務在期望時間內完成。

根據本申請實施例的第一方面，提供一種基于集群的任務提交方法，所述任務拆分由至少一個應用運行，所述方法包括：

從用戶輸入的指令中提取執行任務的實例的數據時間，所述數據時間由用戶設定，針對不同實例所設定的數據時間不同；獲取任務的數據時間；

獲取所述任務預存的偏移時間，所述偏移時間根據所述任務的執行時長以及預設的期望完成時間、所述任務的下游任務的提交時間中的至少一個確定；所述任務的執行時長根據所有應用的執行時長確定；

根據所述數據時間與所述偏移時間計算所述任務的提交時間；

根據所述提交時間，生成提交指令，并按照所述提交指令向集群提交所述任務。

根據本申請實施例的第二方面，提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述第一方面所述的方法。

根據本申請實施例的第三方面，提供一種電子設備，所述電子設備包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為：

從用戶輸入的指令中提取執行任務的實例的數據時間，所述數據時間由用戶設定，針對不同實例所設定的數據時間不同；所述任務拆分由至少一個應用運行；

獲取所述任務預存的偏移時間，所述偏移時間根據所述任務的執行時長以及預設的期望完成時間、所述任務的下游任務的提交時間中的至少一個確定；所述任務的執行時長根據所有應用的執行時長確定；

根據所述數據時間與所述偏移時間計算所述任務的提交時間；

根據所述提交時間，生成提交指令，并按照所述提交指令向集群提交所述任務。

根據本申請實施例的第四方面，提供一種計算機可讀存儲介質，其上存儲有計算機指令，該指令被處理器執行時實現上述第一方面所述的方法。

本申請的實施例提供的技術方案可以包括以下有益效果：

本申請提供的基于集群的任務提交方法、計算機程序產品及電子設備及存儲介質，通過任務的數據時間和偏移時間計算任務的提交時間，并且按照該提交時間向集群提交任務。通過編排任務提交邏輯，使得任務按照一定的時間順序提交，可以確保任務在期望完成時間內完成，保證了任務執行的時效性。