[發明專利]一種可視化大數據任務編排框架及處理方法

在審

• 申請號: 201810538404.4
• 申請日: 2018-05-30
• 公開（公告）號: CN108845798A
• 公開（公告）日: 2018-11-20
• 發明（設計）人: 胡斌;范聯偉;余保華;劉春琿;張躍;武永濤;周春寅;胡興;陳釗;謝偉
• 申請（專利權）人: 安徽四創電子股份有限公司
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F17/30
• 代理公司: 合肥和瑞知識產權代理事務所(普通合伙) 34118
• 代理人: 王挺

本發明公開了一種可視化大數據任務編排框架及處理方法，包括：用戶交互組件、任務設計面板組件、圖形解釋組件、任務運行接口組件、任務監控組件、元數據庫，其中，用戶通過用戶交互組件在任務設計面板組件上設計任務流程圖；圖形解釋組件自動分析任務流程圖并生成流程圖元數據存入元數據庫；任務運行接口組件從元數據庫中獲取流程圖元數據并在大數據環境中運行實際任務；任務監控組件監控任務運行狀態，并通過圖形解釋組件和任務設計面板組件實時更新任務運行狀態。本發明解決了大數據領域的任務流程化設計不直觀的問題，提高了用戶編排大數據任務的效率。

技術領域

本發明屬于計算機可視化設計技術領域，尤其涉及一種可視化大數據任務編排框架及處理方法。

背景技術

目前大數據領域的任務設計方法非常簡陋，沒有一種用戶可視化的設計工具，基本僅靠系統自帶shell腳本通過的crontab定時管理器來實現任務的提交與運行，多個任務的流程化設計僅能通過列表或數據庫字段手動填寫任務的依賴關系，之后用戶再通過寫程序實現任務的流程化順序執行，非常的麻煩和不直觀，且容易出錯。

發明內容

為了克服上述現有技術中的缺陷，本發明提供一種可視化大數據任務編排框架，解決了大數據領域的任務流程化設計不直觀的問題，提高了用戶編排大數據任務的效率。

為實現上述目的，本發明采用以下技術方案：

一種可視化大數據任務編排框架，包括如下組成部分：

用戶交互組件，包括前端web瀏覽器，前端web瀏覽器支持展示的終端為手機或電腦，用戶交互組件與任務設計面板組件之間雙向通信連接，用戶通過用戶交互組件在任務設計面板上設計任務；任務設計面板組件通過用戶交互組件的前端web瀏覽器向用戶展示任務運行狀態；

任務設計面板組件，包括任務設計面板，為用戶提供可視化的設計任務流程圖服務，任務設計面板組件與圖形解釋組件之間雙向通信連接，任務設計面板組件向圖形解釋組件提交任務流程圖；圖形解釋組件向任務設計面板組件反饋任務運行狀態；

圖形解釋組件，對任務流程圖進行自動分析處理，并生成流程圖元數據，所述分析處理包括流程解析、依賴管理、任務映射、定時調度，圖形解釋組件與元數據庫之間雙向通信連接，圖形解釋組件將流程圖元數據存入元數據庫；圖形解釋組件從元數據庫獲取任務運行狀態數據；

元數據庫，存儲任務設計面板配置數據、流程圖元數據、任務運行狀態數據，元數據庫連接任務運行接口組件，元數據庫向任務運行接口組件發送流程圖元數據；

任務運行接口組件，包括任務的實際運行環境接口，任務運行接口組件連接大數據環境，通過任務運行接口組件對大數據環境中實際任務進行運行；

任務監控組件，任務監控組件的輸入端連接大數據環境，監控正在運行的任務，任務監控組件的輸出端連接元數據庫，將任務運行狀態數據存入元數據庫。

用戶在所述任務設計面板上通過鼠標的拖拽連接任務節點和鍵盤的輸入配置任務節點的任務信息來完成任務流程圖的設計。

所述流程解析，為任務流程圖的解析；所述依賴管理，為任務流程圖上的多個任務節點之間依賴關系的處理；所述任務映射，為任務流程圖上的任務節點在大數據環境中實際任務的映射；所述定時調度，為任務流程圖上的任務節點的運行。

所述可視化大數據任務編排框架嵌入在web前端JS程序中。

所述可視化大數據任務編排框架在嵌入web前端JS程序時，用戶使用元數據庫中的任務設計面板配置數據來配置任務設計面板組件和圖形解釋組件，用戶通過配置后的任務設計面板組件設計任務流程圖，且配置后的圖形解釋組件對任務流程圖進行自動分析處理。