[發(fā)明專利]一種可視化大數(shù)據(jù)任務編排框架及處理方法

在審

• 申請?zhí)枺?/td>: 201810538404.4
• 申請日: 2018-05-30
• 公開（公告）號: CN108845798A
• 公開（公告）日: 2018-11-20
• 發(fā)明（設計）人: 胡斌;范聯(lián)偉;余保華;劉春琿;張躍;武永濤;周春寅;胡興;陳釗;謝偉
• 申請（專利權(quán)）人: 安徽四創(chuàng)電子股份有限公司
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F17/30
• 代理公司: 合肥和瑞知識產(chǎn)權(quán)代理事務所(普通合伙) 34118
• 代理人: 王挺

1.一種可視化大數(shù)據(jù)任務編排框架，其特征在于，包括如下組成部分：

用戶交互組件，包括前端web瀏覽器，前端web瀏覽器支持展示的終端為手機或電腦，用戶交互組件與任務設計面板組件之間雙向通信連接，用戶通過用戶交互組件在任務設計面板上設計任務；任務設計面板組件通過用戶交互組件的前端web瀏覽器向用戶展示任務運行狀態(tài)；

任務設計面板組件，包括任務設計面板，為用戶提供可視化的設計任務流程圖服務，任務設計面板組件與圖形解釋組件之間雙向通信連接，任務設計面板組件向圖形解釋組件提交任務流程圖；圖形解釋組件向任務設計面板組件反饋任務運行狀態(tài)；

圖形解釋組件，對任務流程圖進行自動分析處理，并生成流程圖元數(shù)據(jù)，所述分析處理包括流程解析、依賴管理、任務映射、定時調(diào)度，圖形解釋組件與元數(shù)據(jù)庫之間雙向通信連接，圖形解釋組件將流程圖元數(shù)據(jù)存入元數(shù)據(jù)庫；圖形解釋組件從元數(shù)據(jù)庫獲取任務運行狀態(tài)數(shù)據(jù)；

元數(shù)據(jù)庫，存儲任務設計面板配置數(shù)據(jù)、流程圖元數(shù)據(jù)、任務運行狀態(tài)數(shù)據(jù)，元數(shù)據(jù)庫連接任務運行接口組件，元數(shù)據(jù)庫向任務運行接口組件發(fā)送流程圖元數(shù)據(jù)；

任務運行接口組件，包括任務的實際運行環(huán)境接口，任務運行接口組件連接大數(shù)據(jù)環(huán)境，通過任務運行接口組件對大數(shù)據(jù)環(huán)境中實際任務進行運行；

任務監(jiān)控組件，任務監(jiān)控組件的輸入端連接大數(shù)據(jù)環(huán)境，監(jiān)控正在運行的任務，任務監(jiān)控組件的輸出端連接元數(shù)據(jù)庫，將任務運行狀態(tài)數(shù)據(jù)存入元數(shù)據(jù)庫。

2.根據(jù)權(quán)利要求1所述的一種可視化大數(shù)據(jù)任務編排框架，其特征在于，用戶在所述任務設計面板上通過鼠標的拖拽連接任務節(jié)點和鍵盤的輸入配置任務節(jié)點的任務信息來完成任務流程圖的設計。

3.根據(jù)權(quán)利要求1所述的一種可視化大數(shù)據(jù)任務編排框架，其特征在于，所述流程解析，為任務流程圖的解析；所述依賴管理，為任務流程圖上的多個任務節(jié)點之間依賴關系的處理；所述任務映射，為任務流程圖上的任務節(jié)點在大數(shù)據(jù)環(huán)境中實際任務的映射；所述定時調(diào)度，為任務流程圖上的任務節(jié)點的運行。

4.根據(jù)權(quán)利要求1所述的一種可視化大數(shù)據(jù)任務編排框架，其特征在于，所述可視化大數(shù)據(jù)任務編排框架嵌入在web前端JS程序中。

5.根據(jù)權(quán)利要求4所述的一種可視化大數(shù)據(jù)任務編排框架，其特征在于，所述可視化大數(shù)據(jù)任務編排框架在嵌入web前端JS程序時，用戶使用元數(shù)據(jù)庫中的任務設計面板配置數(shù)據(jù)來配置任務設計面板組件和圖形解釋組件，用戶通過配置后的任務設計面板組件設計任務流程圖，且配置后的圖形解釋組件對任務流程圖進行自動分析處理。

6.根據(jù)權(quán)利要求1所述的一種可視化大數(shù)據(jù)任務編排框架，其特征在于，用戶通過任務設計面板組件在任務流程圖上實時添加和刪除任務節(jié)點得到新的任務流程圖，且圖形解釋組件會對新的任務流程圖進行分析處理，映射為實際任務并運行。

7.根據(jù)權(quán)利要求1所述的一種可視化大數(shù)據(jù)任務編排框架，其特征在于，所述可視化大數(shù)據(jù)任務編排框架支持java，shell，mapreduce，hive，spark類型的大數(shù)據(jù)任務。

8.根據(jù)權(quán)利要求1所述的一種可視化大數(shù)據(jù)任務編排框架，其特征在于，所述圖形解釋組件獲取任務運行狀態(tài)數(shù)據(jù)并將任務運行狀態(tài)反饋給任務設計面板組件，且當任務運行狀態(tài)出現(xiàn)異常時，圖形解釋組件將任務運行異常的狀態(tài)反饋給任務設計面板組件，任務設計面板組件在前端web瀏覽器產(chǎn)生任務運行異常的告警信息。

9.一種可視化大數(shù)據(jù)任務編排框架的處理方法，其特征在于，包括以下步驟：

S1，可視化大數(shù)據(jù)任務編排框架嵌入到前端web瀏覽器中，用戶使用元數(shù)據(jù)庫中任務設計面板配置數(shù)據(jù)來配置任務設計面板組件和圖形解釋組件；

S2，用戶啟動程序后，可視化大數(shù)據(jù)任務編排框架根據(jù)任務設計面板配置數(shù)據(jù)初始化任務設計面板組件；

S3，展示可視化的任務設計面板；

S4，用戶拖動一個或多個任務節(jié)點到任務設計面板上，通過鍵盤配置任務節(jié)點的信息，并通過鼠標在任務節(jié)點間拖動連接線，完成任務節(jié)點的流程圖的建立，保存并提交任務流程圖；

S5，圖形解釋組件自動分析任務流程圖，并生成流程圖元數(shù)據(jù)存入元數(shù)據(jù)庫；包括：圖形解釋組件自動解析任務流程圖，圖形解釋組件自動處理任務流程圖上任務節(jié)點之間的依賴關系，圖形解釋組件將任務節(jié)點映射到大數(shù)據(jù)環(huán)境中實際任務，圖形解釋組件運行任務；

S6，任務運行接口組件根據(jù)流程圖元數(shù)據(jù)在大數(shù)據(jù)環(huán)境中運行實際任務；

S7，任務監(jiān)控組件監(jiān)控大數(shù)據(jù)環(huán)境中正在運行的任務，并將任務運行狀態(tài)數(shù)據(jù)存入元數(shù)據(jù)庫，通過圖形解釋組件和任務設計面板組件在前端web瀏覽器上實時更新任務運行狀態(tài)；

S8，前一個任務節(jié)點執(zhí)行完成后，可視化大數(shù)據(jù)任務編排框架自動運行下個任務節(jié)點，多個任務節(jié)點按照設計的任務流程圖的順序自動執(zhí)行。