[發明專利]任務調度方法、裝置、設備及存儲介質

在審

• 申請號: 202011572510.8
• 申請日: 2020-12-25
• 公開（公告）號: CN112596885A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 汪文星;劉柏;范長杰;李仁杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54;G06F16/22;G06F16/27
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本申請提供一種任務調度方法、裝置、設備及存儲介質，涉及任務調度技術領域。該方法包括：若監聽到預設的消息隊列中具有待執行任務的消息，則從所述多個執行器中選擇目標執行器；向所述目標執行器發送任務調度請求，所述任務調度請求用于指示所示所述目標執行器從所述消息隊列中獲取所述待執行任務的任務標識，并根據所述任務標識，從預設數據庫中獲取所述待執行任務的任務配置信息，根據所述任務配置信息執行所述待執行任務。相對于現有技術，避免了文件系統穩定性不夠好，無法做到每臺機器信息實時同步的問題。

技術領域

本申請涉及任務調度技術領域，具體而言，涉及一種任務調度方法、裝置、設備及存儲介質。

背景技術

在大數據系統中，每天都有很多數據處理任務在運行，調度系統可以將任務管理并調度起來，極大地提高大數據系統的效率，Airflow是目前使用最廣泛的一種任務調度系統。主要包含了Scheduler(調度器)、Worker(執行器)、WebServer(Web服務)，用戶通過編寫Python文件來配置任務信息，調度器會將任務文件進行解析并通知執行器執行任務。

目前的調度任務部署是通過人工編寫Python文件并存放于Airflow安裝部署的機器上，Airflow的調度器會定時去解析任務文件，通過Redis等消息隊列將任務發送給執行器，執行器從隊列中拉取要執行的任務，然后解析對應的任務文件執行任務。

但是這樣的部署方式由于配置信息和任務信息都存儲在磁盤上，文件系統穩定性不夠好，無法做到每臺機器信息實時同步，在實際使用過程中容易出現問題。

發明內容

本申請的目的在于，針對上述現有技術中的不足，提供一種任務調度方法、裝置、設備及存儲介質，以解決現有技術中文件系統穩定性不夠好，無法做到每臺機器信息實時同步的問題。

為實現上述目的，本申請實施例采用的技術方案如下：

第一方面，本申請一實施例提供了一種任務調度方法，應用于分布式系統中的調度器，所述分布式系統還包括：多個執行器，所述方法包括：

若監聽到預設的消息隊列中具有待執行任務的消息，則從所述多個執行器中選擇目標執行器；

向所述目標執行器發送任務調度請求，所述任務調度請求用于指示所示所述目標執行器從所述消息隊列中獲取所述待執行任務的任務標識，并根據所述任務標識，從預設數據庫中獲取所述待執行任務的任務配置信息，根據所述任務配置信息執行所述待執行任務。

可選地，所述若監聽到預設的消息隊列中具有待執行任務的消息，則從所述多個執行器中選擇目標執行器之前，所述方法還包括：

解析所述預設數據庫中的任務表，得到至少一個待執行任務的消息，其中，所述待執行任務的消息包括：所述待執行任務的任務標識；

將所述待執行任務的任務標識寫入所述消息隊列中。

可選地，所述解析所述預設數據庫中的任務表，得到至少一個待執行任務的消息包括：

根據預設時間間隔解析所述任務表。

可選地，所述待執行任務的消息還包括：所述每個任務的預設運行時間；所述將所述待執行任務的任務標識寫入所述消息隊列中，包括：

根據所述待執行任務的運行時間，從所述至少一個待執行任務中確定目標任務，并將所述目標任務的任務標識寫入所述消息隊列中。

可選地，所述分布式系統還包括：網頁服務器，所述方法還包括：所述每個任務的消息為所述網頁服務器對前端通過預設接口發送的預設格式的數據進行解析并寫入到所述預設數據庫中的任務信息。

可選地，所述每個任務的消息還包括：所述每個任務的任務配置信息，所述每個任務的任務配置信息為所述前端基于用戶的任務配置操作所輸入的信息。