[發明專利]分布式處理任務的方法、系統、電子設備和可讀介質

有效

• 申請號: 201710362214.7
• 申請日: 2017-05-22
• 公開（公告）號: CN108932157B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 趙偉
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/48
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;趙靜

本發明實施例提供一種分布式處理任務的方法、系統、電子設備和可讀介質，能夠實現分布式集群環境下高可用的worker架構方案，可以通過自定義命令的方式，使得執行機可以靈活、多樣化的執行任務。該方法包括：將任務配置信息保存至ZooKeeper的配置服務持久化節點中，管理端從所述配置服務持久化節點中讀取所述任務配置信息；管理端根據所述任務配置信息判斷任務的復雜程度，根據所述任務的復雜程度從ZooKeeper的命令服務持久化節點中選擇執行所述任務的執行機，并生成相應的自定義命令；通過所述命令服務持久化節點將所述自定義命令下發至執行機，以使所述執行機按照所述自定義命令執行所述任務。

技術領域

本發明涉及計算機技術領域，尤其涉及一種分布式處理任務的方法、系統、電子設備和可讀介質。

背景技術

在如今業務復雜的系統中，常常有很多的工作需要一些任務在固定的時間或者固定的周期去定時處理，例如每天上下班打卡的提醒、每周關鍵指標的報表、重要郵件的定時發送等。在系統軟件設計過程中，為了降低系統之間的耦合性以及單個應用程序的負荷，通常會將這些固定周期要去做的任務抽取出來，放在一個單獨應用程序里去維護，這樣的應用程序統稱為Worker。

現有技術中，實現任務調度的worker方案主要包括如下兩種：

1)利用開源項目Quartz實現任務定時調度的應用；

2)利用淘寶開源的一套分布式調度框架TBSchedule實現任務調度，可以支持集群的部署方案，支持特定任務在單個執行機器上執行，支持單個任務拆分到多個執行機器上執行。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

1、Quartz：

(1)支持簡單集群，但不能對單個任務進行分片式拆分；

(2)在單個任務處理數據量大的情況下，對應用服務器造成的壓力很大，甚至可能引起服務器宕機。

2、TBSchedule：

當多個執行機并行執行單個任務時，只能根據任務的數據量來拆分任務，拆分策略相對單一，不能自定義執行機執行任務的策略。

發明內容

有鑒于此，本發明實施例提供一種分布式處理任務的方法、系統、電子設備和可讀介質，能夠實現分布式集群環境下高可用的worker架構方案，可以通過自定義命令的方式，使得執行機可以靈活、多樣化的執行任務。

為實現上述目的，根據本發明實施例的一個方面，提供了一種分布式處理任務的方法。

本發明實施例的一種分布式處理任務的方法包括：將任務配置信息保存至ZooKeeper的配置服務持久化節點中，管理端從所述配置服務持久化節點中讀取所述任務配置信息；管理端根據所述任務配置信息判斷任務的復雜程度，根據所述任務的復雜程度從ZooKeeper的命令服務持久化節點中選擇執行所述任務的執行機，并生成相應的自定義命令；通過所述命令服務持久化節點將所述自定義命令下發至執行機，以使所述執行機按照所述自定義命令執行所述任務。

可選地，所述方法還包括：將所述任務配置信息保存至數據庫中。

可選地，所述方法還包括：所述執行機根據預設性能分析周期，計算其所在服務器的性能分數，并將所述性能分數保存至數據庫中。