[發明專利]一種基于數據處理的任務智能調度引擎設計方法

在審

• 申請號: 201710650573.2
• 申請日: 2017-08-02
• 公開（公告）號: CN107506906A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 婁必偉;張起榮;歐瑩元
• 申請（專利權）人: 貴州工程應用技術學院
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于數據處理的任務智能調度引擎設計方法。

背景技術

在企業級應用中，經常會制定一些“計劃任務”，即在某個時間點做某件事情，核心是以時間為關注點，即在一個特定的時間點，系統執行指定的一個操作，任務調度涉及多線程并發、線程池維護、運行時間規則解析、運行現場的保護以恢復等方面。

電信運營商每天在后臺數據庫中執行成百上千的數據抽取、統計任務，對這些任務的執行情況缺乏智能調度及監控，導致用戶急需的事項往往需要等待，對統計出來的結果不能在第一時間發現問題。

為了提升電信公司對營銷數據的及時掌握，同時為了更高效率、高質量的保障對數據信息化的應用，電信部門需要從其它數據平臺抽取數據，經過清洗加工整理，再經過一系列的數據處理才能得到業務部門所需要的數據進行展現，通過任務智能調度，及時獲取數據，結合報表需求，為決策提供準確的、完整的、全面的數據分析。

發明內容

本發明的目的是為了解決現有技術中存在的缺點，而提出的一種基于數據處理的任務智能調度引擎設計方法。

為了實現上述目的，本發明采用了如下技術方案：

一種基于數據處理的任務智能調度引擎設計方法，包括如下步驟：

S1：任務配置管理，定義任務并發數，配置任務屬性，對新建任務定義任務優先級、任務對應的后臺處理過程、執行周期等，可定義日任務、周任務、月任務、年任務及一次性任務，對周任務需指定開始時間是周幾，對一次性任務需指定數據開始時間與截止時間；

S2：任務執行條件管理，配置任務的執行條件，只有條件滿足時任務才會被執行，可以配置任務執行的時間點、配置任務執行前進行的檢查條件，只有當條件滿足時任務才啟動執行；

S3：任務依賴關系管理，定義任務的依賴關系，一個任務可以依賴很多任務，也可以被很多任務依賴，任務只有當其所依賴的任務執行完成后才可以被執行；

S4：任務后續處理，定義任務在執行后要進行的處理，如建立表的索引、進行數據完整性檢查、進行數據有效性檢查及數據量的比較；

S5：任務執行情況監控，查看任務的執行情況，可以啟動一個任務，也可以停止一個任務，下達停止任務時如果該任務正在執行，則系統會在執行完成后停止指定任務；

S6：任務異常情況處理，查看任務的執行出錯情況，可查看出錯的語句，進行處理，處理完成后啟動重做該任務；

S7：查看隊列中的任務，查看在隊列中未執行的任務，可查看未執行的原因；

S8：任務調度服務程序，任務智能調度程序，根據任務執行的條件進行檢查，當條件具備時系統會自動啟動執行。

與現有技術相比，本發明的有益效果是：本發明以自動化的方式解決電信業務支撐部門每天人工取數、數據處理的一系列繁重過程，現在通信行業三大運營商都采用數據集中存儲，建立數據倉庫，而各地市分公司要取數據進行分析都要到省公司的數據倉庫中抽取數據，抽取數據后還需要對數據進行清洗加工，獲得地市自己需要的數據再進行經營分析。這些工作都可以用任務智能調度系統快速實現，大型企業的應用系統繁多，要從各應用系統中抽取數據進行匯總分析，也是可以使用智能任務調度系統來快速實現，政府各行政部門都有很多應用系統，其數據的應用價值還未體現，如今在大數據驅動下，需要對各部門的數據進行抽取加工，這也可以使用智能任務調度系統來快速實現，由此可見，智能任務調度系統的應用范圍非常廣泛，各行業都會使用到，該系統的市場前景非常廣闊。

附圖說明

圖1為本發明流程示意圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合具體實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

實施例1

一種基于數據處理的任務智能調度引擎設計方法，包括如下步驟：

S1：任務配置管理，定義任務并發數，配置任務屬性，對新建任務定義任務優先級、任務對應的后臺處理過程、執行周期等，可定義日任務、周任務、月任務、年任務及一次性任務，對周任務需指定開始時間是周幾，對一次性任務需指定數據開始時間與截止時間；

S2：任務執行條件管理，配置任務的執行條件，只有條件滿足時任務才會被執行，可以配置任務執行的時間點、配置任務執行前進行的檢查條件，只有當條件滿足時任務才啟動執行；