[發明專利]任務調度方法及裝置、計算機可讀存儲介質

有效

• 申請號: 202011473343.1
• 申請日: 2020-12-15
• 公開（公告）號: CN112579273B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 楊澤森;王軍偉
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 王莉莉

本公開涉及一種任務調度方法及裝置、計算機可讀存儲介質。任務調度方法包括：獲取多個待調度任務；確定與每個待調度任務相關的業務特征、技術特征和資源特征；和根據與每個待調度任務相關的業務特征、技術特征和資源特征，對多個待調度任務進行動態任務調度。

技術領域

本公開涉及計算機技術領域，特別涉及一種任務調度方法及裝置、計算機可讀存儲介質。

背景技術

隨著大數據(big?data)時代的到來，企業中每天存在海量的大數據計算，用于支撐企業營銷和運營。大數據是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據主要有5個特點：大量(Volume)、高速(Velocity)、多樣(Variety)、低價值密度(Value)、真實(Veracity)。

在企業大數據平臺中或數據中心中或數據倉庫環境會存在大量的Hadoop批處理計算任務、Spark實時計算任務、Presto即席查詢計算任務、Flink實時計算任務等，任務數量規模包括萬級、十萬級、百萬級規模等等。批處理是對某對象進行批量的處理，通常被認為是一種簡化的腳本語言，它應用于DOS和Windows、linux、大數據、云計算等系統中。實時計算是一種時間復雜性較低的計算，支持實時的數據分析與業務計算，對規模巨大的數據進行分析，利用大數據技術高效的快速完成分析，達到近似實時的效果，能夠更及時地反映數據的價值和意義。

對于這樣海量的大數據計算任務，其研發人員往往是分布在不同的子集團、子公司、業務部門，可能會出現各子公司、部門的研發人員提交到大數據作業的任務優先級、執行時間的設置存在片面性，造成大數據平臺資源使用在一部分時段出現擁堵，而在另一部分時段出現空閑。即，使得大數據平臺資源不能得到最大程度利用，并且任務時效也難以保障。

相關的大數據調度系統或工作流管理系統大致分為兩類：一類是底層物理計算資源管理調度系統，例如Yarn、Kubernetes、Borg、Mesos等系統；另一類是基礎任務調度管理調度系統，例如Oozie、Apache?Airflow、Azkaban、DolphinScheduler等系統。

發明內容

以上底層物理計算資源管理調度系統和基礎任務調度管理調度系統這兩類系統存在如下問題中的至少一種：

1)側重底層資源的調配，忽略了上層業務應用的宏觀調度，或者依賴人為主觀干預，導致調度的頻繁低效；

2)由于用戶分布在不同的部門，任務時間的安排又依賴人工設置，故容易出現在一部分時段內集群計算資源空閑，而在另一部分時段內任務資源搶占，造成集群的整體資源利用率低；

3)在物理集群硬件計算資源有限、任務數量又劇烈增長的情況下，在個別時段內由于不同任務重要程度的任務爭搶計算資源，可能導致重要任務的時效反而無法獲得保障。

鑒于此，本公開提出一種任務調度方案，能夠解決上述問題中的至少一種。

根據本公開的一些實施例，提供了一種任務調度方法，包括：

獲取多個待調度任務；

確定與每個待調度任務相關的業務特征、技術特征和資源特征；和

根據與每個待調度任務相關的業務特征、技術特征和資源特征，對多個待調度任務進行動態任務調度。

在一些實施例中，技術特征包括待調度任務的任務類型，根據與每個待調度任務相關的業務特征、技術特征和資源特征，對多個待調度任務進行動態任務調度包括：

根據與待調度任務相關的業務特征，確定各個任務之間的血緣關系；

根據各個任務之間的血緣關系，計算待調度任務的層級評分；