[發明專利]一種多任務管理系統及其分布式部署方法

在審

• 申請號: 201610970950.6
• 申請日: 2016-11-04
• 公開（公告）號: CN106598726A
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 黃峰;梁煜麓;羅佳
• 申請（專利權）人: 廈門安勝網絡科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 廈門市精誠新創知識產權代理有限公司35218
• 代理人: 張偉星

技術領域

本發明涉及計算機技術領域，具體涉及一種多任務管理系統及其分布式部署方法。

背景技術

在當前的互聯網與企業信息化應用中，經常會遇到大量任務的處理，這些任務的特性是數量大，在資源有限的情況下需要長時間運行這些作業，而且這些任務的時效性要求不高。處理這些類似的任務，一般都會用到多線程執行、多pc執行以實現水平擴展，也可以分布式執行，實現垂直擴展。多線程執行的方式一般都會使用到線程池，如果任務需要定時處理，還可以引入一些任務調度的功能。如果是分布式執行，則可以用些成熟的框架或者方法，如hadoop，mapreduce。 有些這些任務量大，則需要對這些任務的管理、監控，甚至人工干預。

當前很多多任務處理機制都沒有考慮多層級的任務處理機制，另外任務的分派相對不靈活，任務的優先級別只綁定到任務，沒有綁定到線程。對執行時間較短，任務量較多的情況，性能較差。

申請號為CN201310655730.0的“單線程任務的多線程執行方法及系統”與CN201010517150.1的“一種通過線程管理提高多任務處理效率的方法”中提到把一個單一的任務拆分成多個任務，以提高效率，但是對規模量較大的任務，幾十萬的任務情況下，如何提高任務的執行效率，以及如何按照用戶的需要對任務進行優先級管理；申請號為CN201310189250.X的“基于多任務系統的分布式系統和方法”中提到多任務的分布式處理方式，并解決并發處理任務時資源競爭的問題，但是在任務的優先級配置方面所有不足。

發明內容

為此，本案提出一種多任務管理系統及其分布式部署方法，以對任務靈活的配置及執行。

具體方案如下：

一種多任務管理系統，包括：

任務庫，被配置成存儲任務；

任務策略管理器，被配置成根據任務的執行線程數，確定任務執行策略；

任務派發器，被配置成根據任務策略管理器所確定的任務執行策略與任務隊列的任務情況從任務庫讀取任務，并派發到相應的任務隊列中；

任務隊列管理器，被配置成生成任務隊列以及銷毀任務隊列；

任務隊列，被配置成存放任務派發器派發的任務；

任務作業線管理器，被配置成生成任務作業線以及銷毀任務作業線；

任務作業線，被配置成執行任務隊列中的任務。

進一步的，還包括任務生成器，被配置成根據業務實體生成任務。

進一步的，所述的任務具有屬性，屬性包括但不限于任務類型、重復次數、任務執行時間、任務執行策略、任務隊列、任務作業線、任務狀態、執行情況、業務類型和業務id屬性。

進一步的，所述的任務在沒有相應的任務隊列屬性與任務作業線屬性的屬性設定時，通過隊列管理器與任務作業線管理器初始化生成相應的任務隊列與任務作業線。

進一步的，所述任務執行策略與執行線程的對應關系為一個任務執行策略對應一個或多個執行線程。

進一步的，所述執行線程、任務隊列與任務作業線之間的關系為一個執行線程對應一個任務隊列和一個任務作業線

進一步的，所述的任務隊列管理器在某任務隊列中沒有存放任務時，銷毀該任務隊列。

進一步的，還包含監聽器，監聽器被配置為獲取任務隊列中的任務數，當任務數少于一定值時，監聽器通知任務派發器，任務派發器派發新的任務至任務隊列；當任務隊列在獲取到任務時，監聽器通知任務作業線執行任務。

進一步的，：所述的任務作業線管理器在某任務作業線中沒有執行任務時，銷毀該任務作業線。

一種基于上述的多任務管理系統的分布式部署方法，包括：提供部署任務生成器及存儲任務庫的數據存儲裝置；在一主服務器端部署所述任務派發器、任務策略管理器、隊列管理器以及任務作業線管理器；在另外的多個從屬服務器端分別部署所述的任務隊列以及任務作業線，數據存儲裝置與主服務器端建立通訊連接，主服務器端與多個從屬服務器端分別建立通訊連接。

本發明有益效果：

1.支持多層級的任務，如父任務可以是定時的任務，子任務可以是業務處理任務，子子任務可以是http請求任務；

2.任務的執行方式支持api調用、http調用、soap調用；

3.由于任務數據量大，為了提高性能與并發量，引進任務隊列功能，隊列可以根據策略選擇任務執行；

4.使用任務執行策略，并由任務執行策略確定任務所需線程；

5.分布式部署提高了多數據處理的效率。

附圖說明

圖1為本發明架構圖；