[發明專利]一種基于elastic-job框架可單機彈性擴容的任務分片方法

有效

• 申請號: 201811038389.3
• 申請日: 2018-09-06
• 公開（公告）號: CN109165088B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 高士翔
• 申請（專利權）人: 華泰證券股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 南京科知維創知識產權代理有限責任公司 32270
• 代理人: 杜依民

1.一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，包括以下步驟：

步驟1：建立任務實例，基于elastic-job框架編寫任務代碼，基于elastic-job框架編寫的任務代碼為任務類；elastic-job框架的回調入口函數參數中包含任務調度分配的分片項，讀取所述分片項并記錄；

步驟2：定義任務聲明.xml；在啟動程序中加載作業聲明xml，生成elastic-job任務并注冊到zookeeper的服務中；利用步驟1編寫的任務類聲明多個任務實例spring bean，注冊多個所述任務實例；

步驟3：定義任務描述.properties；所述任務實例的所述分片項個數通過部署的機器數量決定；任務的自定義參數，用以作為運行時的配置信息；所述自定義參數包括實例個數、實例序號；

步驟4：任務在運行時刻解析所述分片項，以及所述任務的自定義參數；通過獲取到的步驟3中的實例個數、實例序號，動態解析分布式環境中的機器個數，以及單機下同一任務的實例個數，構建分布式環境和單機環境相結合的實例矩陣；

步驟5：根據步驟4構建的所述實例矩陣，由用戶編寫的業務分片策略，決定并發處理不同的數據，或是執行可并發的程序；

步驟6：分布式環境中的服務擴容或縮容；動態感知分布式環境變化，自動調整每個實例需要處理的數據范圍；單機環境下，增減任務處理線程，在elastic-job配置中修改自定義參數后重啟。

2.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，所述步驟1中的所述框架的回調入口函數的參數由所述框架提供，并且通過實現回調入口函數動態獲取分配到的任務分片項以及參數信息的自定義。

3.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，所述步驟2中聲明的多個任務實例spring bean，指定加載所在xml文件的操作用以完成基于elastic-job框架的定時任務。

4.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，由于elastic-job支持單機執行多分片項，所述步驟3中的所述分片項個數大于運行機器的個數。

5.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，在任務執行時，根據得到的實例分片項以及自定義參數，計算分布式環境中的所述實例矩陣。

6.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，所述步驟3中傳遞的信息包括所述步驟2中同一任務的實例個數，以及實例的可標識序列ID。

7.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，所述步驟4中利用賬號與機器個數相除的余數值，作為賬號分片歸納處理的依據。

8.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，每個實例都通過所述分片項和所述自定義參數中的所述實例序號，計算單個服務器下單實例所承擔的余數集合,進而處理對應的賬號集合。

9.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，分布式環境的機器變化不影響所述分片方法的自動重新生成。

10.如權利要求1所述的一種基于elastic-job框架可單機彈性擴容的任務分片方法，其特征在于，通過修改所述自定義參數，重新編寫任務xml中的bean聲明，改變單機中的實例個數，改變實例總數及序號。