[發明專利]跨平臺分布式任務調度系統及調度方法

在審

• 申請號: 202110461996.6
• 申請日: 2021-04-27
• 公開（公告）號: CN113157420A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 唐寅;李光華
• 申請（專利權）人: 上海臨視人工智能科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54
• 代理公司: 南通一恒專利商標代理事務所(普通合伙) 32553
• 代理人: 梁金娟

本發明提供一種跨平臺分布式任務調度系統，包括，任務發起端，把包裝好的消息塊發送到消息中心的服務地址上；消息中心，接收消息塊，并存放在內存或磁盤中，同時把任務發送給任務接收端；任務接收端，接收來自消息中心的任務后，把任務放在任務等待隊列中，等待任務派發端把任務派發出去；任務派發端，定時輪訓任務等待隊列，發現隊列中有任務時，會把任務發送到任務執行隊列；任務執行端，定時輪訓任務執行隊列，發現隊列中有任務時，會取出任務，執行任務，完成后發現ack消息到消息中心。本發明的分布式任務調度系統的相同代碼可直接在不同操作系統上直接運行，無需做任何修改。

技術領域

本發明屬于計算機科學技術領域，具體涉及一種跨平臺分布式任務調度系統及調度方法。

背景技術

目前普遍的分布式任務調度系統都是根據操作系統定制的，不具備跨平臺使用的能力。在不同的平臺（主要是指Linux和Windows之間），甚至相同平臺但是不同發行版的Linux和不同版本的Windows，都不一定能夠通用，這是因為不同平臺上構建子進程和子線程的方式有很大的區別，通常分布式任務調度系統都需要構建子進程或者子線程來進行任務的調度和執行，而目前的分布式任務調度系統在底層都沒有對不同平臺進行兼容，不能在不同平臺上通用的構建調度和執行任務的子進行或子線程。

發明內容

本發明的發明目的是為了解決上述技術問題，提供一種跨平臺分布式任務調度系統及調度方法，在任務執行端可以平行擴展實現各個不同操作系統級的子進程和子線程初始化，做到跨平臺的功能。

為解決上述技術問題，本發明的實施例提供一種跨平臺分布式任務調度系統，包括任務發起端，消息中心，任務接收端，任務派發端和任務執行端，所述任務執行端設有操作系統兼容模塊，其中，

所述任務發起端把包括任務模塊、任務方法、任務參數的數據包裝成一個消息塊，并把包裝好的消息塊發送到消息中心的服務地址上；

所述消息中心接收來自任務發起端發送過來的消息塊，并存放在內存或磁盤中，同時把任務發送給與消息中心連接的任務接收端；

所述任務接收端接收來自消息中心的任務后，把任務放在任務等待隊列中，等待任務派發端把任務派發出去；

所述任務派發端定時輪訓任務等待隊列，發現隊列中有任務時，會把任務發送到任務執行隊列；

所述任務執行端定時輪訓任務執行隊列，發現隊列中有任務時，會取出任務，執行任務，完成后發現ack消息到消息中心。其中，所述消息塊有head、body、properties三個組成部分；其中，head中包括任務唯一ID、任務名稱、任務模塊名稱、任務重試次數、任務執行時間限制；body中包括任務方法執行時的具體參數；properties中包括任務執行后回復的對象。

本發明還提供一種跨平臺分布式任務調度系統的調度方法，操作系統兼容模塊通過sys.platform 函數來獲取當前操作系統的類型，通過該類型取到對應的Popen函數核心實現，完成跨平臺兼容。

上述的跨平臺分布式任務調度系統的調度方法包括如下步驟：

S1、消息發送端包裝消息，發送到消息中心；

S2、消息中心把消息派發到連接著自己的消息接收端；

S3、消息接收端把消息中心發給自己的消息存到內存隊列中，該內存隊列命名為任務等待隊列；

S4、消息派發端輪訓任務等待隊列，把其中的消息取出，方法另一個內存隊列中，該內存隊列命名為任務執行隊列；

S5、消息執行端輪訓任務執行隊列，把其中的消息取出，調用sys.platform 函數來獲取當前操作系統的類型，根據操作系統的類型，選擇已經實現的Popen函數，創建出子進程，然后把消息傳給子進程執行；子進程執行完成推出后，消息執行端向消息中心發送ack消息。