[發明專利]基于分布式的實時任務調度方法、裝置、設備及介質

在審

• 申請號: 202010591710.1
• 申請日: 2020-06-24
• 公開（公告）號: CN111813513A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 鄒芳;李彥良;黃鵬;趙永超
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于分布式的實時任務調度方法，應用于集群服務器的任務調度，其特征在于，所述集群服務器包括Master節點、Redis節點、主負載計算中心、工作集群統計中心，所述基于分布式的實時任務調度方法包括：

通過所述Master節點接收每個待分配任務，得到任務隊列；

將所述任務隊列分配到所述Redis節點中，通過所述Redis節點緩存所述任務隊列，并將所述任務隊列中的待分配任務，按照預設的方式，提交到所述主負載計算中心；

通過所述主負載計算中心接收Redis節點提交的任務作為基礎任務，并從所述工作集群統計中心，獲取集群中每個節點服務器的的狀態信息，作為當前狀態；

根據所述基礎任務和所述當前狀態，進行任務調度，得到目標任務；

根據每個節點服務器的當前狀態，將目標任務動態分配到每個節點服務器。

2.如權利要求1所述的基于分布式的實時任務調度方法，其特征在于，所述Master節點采用主備模式，在所述通過所述Master節點接收每個待分配任務，得到任務隊列之前，所述基于分布式的實時任務調度方法還包括：

定時采用死連接檢測機制實時對所述Master節點的主節點進行心跳監控；

若監測到所述Master節點的主節點心跳異常，則通過優先級競選的方式，從所述Master節點的備用節點中，選舉出目標節點；

采用死連接檢測機制進行主備切換處理，將所述目標節點作為處理后的主節點。

3.如權利要求1所述的基于分布式的實時任務調度方法，其特征在于，采用令牌桶的形式對Master節點的接口進行限流；

所述將任務隊列分配到Redis節點中包括：

獲取所述任務隊列中，所述待分配任務的數據包所需的令牌數據量A，其中，A為正整數；

獲取補充令牌的時間點和當前時間點，并計算所述當前時間點與所述補充令牌的時間點之間的時間間隔Δt；

將所述時間間隔與預設間隔閾值T進行比較，得到比較結果；

按照所述比較結果對應的預設填充方式，計算可補充令牌數量M；

若MA，則計算A與M的差值K，并從所述任務隊列中選取K個待分配任務作為待處理任務，將所述待處理任務分配到Redis節點中。

4.如權利要求3所述的基于分布式的實時任務調度方法，其特征在于，所述按照所述比較結果對應的預設填充方式，計算可補充令牌數量M包括：

若比較結果為Δt≥T，則獲取當前令牌數量E與預設的令牌上限F，按公式M＝F-E計算所述可補充令牌數量M；

若比較結果為Δt＜T，則按照如下公式計算所述可補充令牌數量M：

5.如權利要求1至4任一項所述的基于分布式的實時任務調度方法，其特征在于，所述根據所述基礎任務和所述當前狀態，進行任務調度，得到目標任務包括：

根據每個所述基礎任務的任務類型，確定所述基礎任務的衰減系數；

基于預設計算方式和所述衰減系數，確定每個基礎任務的執行收益率；

根據所述執行收益率和所述當前狀態，確定分配執行的任務，作為所述目標任務。

6.如權利要求5所述的基于分布式的實時任務調度方法，其特征在于，所述基于預設計算方式和所述衰減系數，確定每個基礎任務的執行收益率包括：

獲取所述基礎任務的數據記錄的條數，并對每條所述數據記錄進行順序編號；

針對每條所述數據記錄，使用該數據記錄的編號對所述分片數目N進行取模運算，得到該數據記錄的編號模；

將編號模相同的數據記錄分入同一個分片集合中，并將每個所述分片集合中的數據記錄作為一個基礎分片數據，得到N個所述基礎分片數據；

按照預設的負載均衡分配方式，從計算單元集合中選取目標計算單元，并將所述基礎分片數據分配給所述目標計算單元；

通過所述目標計算單元，對基礎分片數據中的基礎任務進行執行收益率的計算，得到每個基礎任務的執行收益率。