[發明專利]一種分布式異步任務調度方法及電子設備

在審

• 申請號: 201910903256.6
• 申請日: 2019-09-24
• 公開（公告）號: CN110851245A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 林維鎮
• 申請（專利權）人: 廈門網宿有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 上海晨皓知識產權代理事務所(普通合伙) 31260
• 代理人: 成麗杰

本發明實施例涉及數據處理技術領域，公開了一種分布式異步任務調度方法及電子設備。本發明中，通過從用于給各個進程進行任務配置的配置中心獲取任務信息，其中，任務信息至少包括給當前進程配置的目標任務隊列，目標任務隊列中存儲有待執行的異步任務；從目標任務隊列中獲取批量的目標任務；調取目標任務并執行，能夠提高任務調度的效率。

技術領域

本發明實施例涉及數據處理技術領域，特別涉及一種分布式異步任務調度方法及電子設備。

背景技術

隨著互聯網技術的發展，服務器的操作系統在處理任務的過程中，處理的數據量飛速增長。傳統的使用一臺機器來處理任務的方法已經無法滿足任務處理的需求，在這種情況下，分布式任務處理方法應運而生，分布式異步任務處理方法能夠利用多臺機器同時處理多個任務，而且理論上可以無限水平擴展，因此可以很好地完成任務的調度和任務的處理。

發明人發現現有技術中至少存在如下問題：在現有的分布式任務調度系統中，各個處理任務的設備都必須去數據庫中獲取任務，而數據庫中的任務又是不斷更新的，因此，在從數據庫中獲取任務時，數據庫會先對各個任務進行排他查詢，通過優先級排序，獲取待執行的任務，并將待處理的任務狀態更新成處理中再執行，造成各個任務處理設備處理任務效率不高。

發明內容

本發明實施方式的目的在于提供一種分布式異步任務調度方法及電子設備，能夠提高任務調度的效率。

為解決上述技術問題，本發明的實施方式提供了一種分布式異步任務調度方法，包括以下步驟：從用于給各個進程進行任務配置的配置中心獲取任務信息，其中，任務信息至少包括給當前進程配置的目標任務隊列，目標任務隊列中存儲有待執行的異步任務；從目標任務隊列中獲取批量的目標任務；調取目標任務并執行。

本發明的實施方式還提供了一種電子設備，包括：至少一個處理器；以及，與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行上述的分布式異步任務調度方法。

本發明實施方式相對于現有技術而言，從用于給各個進程進行任務配置的配置中心獲取任務信息，其中，任務信息至少包括給當前進程配置的目標任務隊列，目標任務隊列中存儲有待執行的異步任務；從目標任務隊列中獲取批量的目標任務；調取目標任務并執行。由配置中心來給各個進程配置任務，而且進程直接從目標任務隊列中獲取批量的目標任務執行，避免了頻繁地對數據庫進行存取操作，從而可以避免大量任務請求同時訪問數據庫造成的數據庫負載過高，造成流量瓶頸的情況，提高任務調度的效率；同時，由于各個進程都是統一從配置中心獲取任務信息，使得處理任務的進程可大量擴展，從而可進一步提高任務調度效率。

另外，配置中心還用于給各個任務隊列配置任務并發規則，任務信息還包括目標任務隊列對應的任務并發規則；從目標任務隊列中獲取批量的目標任務具體為：根據目標任務隊列對應的任務并發規則從目標任務隊列中獲取批量的目標任務。設置任務并發規則，使得進程在執行任務的過程中不會混亂。

另外，配置中心通過任務配置表和任務隊列管理表給各個任務隊列配置任務并發規則，并且任務配置表還用于記錄為各個進程配置的任務類型，任務隊列管理表還用于記錄各個任務類型分別對應的任務隊列；從用于給各個進程進行任務配置的配置中心獲取任務信息，具體為：從配置中心中的任務配置表和任務隊列管理表中獲取任務信息。配置任務配置表和任務管理表來記錄為各個進程配置的任務隊列以及各個任務隊列的任務并發規則，方便對各個進程任務的統一管理，而且采用兩張表來對任務進行分配，使得配置更加靈活。

另外，給各個任務隊列配置的任務并發規則至少包括處理各個任務隊列中任務的并發線程數；并且處理各個任務隊列中任務的并發線程數根據線程池處理任務的速度實時調整。任務并發規則中包括處理任務隊列中任務的并發線程數，而且并發線程數根據線程池處理任務的速度調整，一方面，避免任務隊列中任務的消耗速度過慢，另一方面，避免并發數太高浪費CPU資源。