[發明專利]一種多維數據作業調度系統

在審

• 申請號: 202010556325.3
• 申請日: 2020-06-17
• 公開（公告）號: CN111694650A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 吳炎泉;陳思恩;楊紫勝;廖雅哲
• 申請（專利權）人: 科技谷（廈門）信息技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/28
• 代理公司: 廈門致群專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶;鄧貴琴

本發明公開了一種多維數據作業調度系統，包括客戶端、Web服務器、調度組件、Hadoop集群及數據庫，所述客戶端包括Java API接口、Rest API接口及CLI命令行工具，所述客戶端通過Web服務器與調度組件進行數據交互，所述調度組件包括作業流模塊、定時調度模塊及調度配置模塊，所述作業流模塊一組動作節點及控制節點，該組動作節點通過控制節點相連以形成一工作流，所述動作節點用于觸發計算處理任務的執行，所述控制節點用于控制工作流作業的開始和結束，所述定時調度模塊用于定時調度作業流模塊執行作業，所述調度配置模塊用于對定時調度模塊進行批量配置。

技術領域

本發明涉及大數據分析技術領域，特別涉及一種多維數據作業調度系統。

背景技術

現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。大數據具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征，如何通過大數據分析和處理挖掘出數據的商業價值，是人們關注的重點。

對現有的大數據平臺來說，數據類型、維度越來越多，數據分析處理作業量也越來越龐大，但目前作業調度方式單一，靈活度不高，難于滿足當下大數據平臺作業的高效要求。

發明內容

為解決上述問題，本發明提供了一種多維數據作業調度系統。

本發明采用以下技術方案：

一種多維數據作業調度系統，包括客戶端、Web服務器、調度組件、Hadoop集群及數據庫，所述客戶端包括JavaAPI接口、RestAPI接口及CLI命令行工具，所述客戶端通過Web服務器與調度組件進行數據交互，所述調度組件包括作業流模塊、定時調度模塊及調度配置模塊，所述作業流模塊一組動作節點及控制節點，該組動作節點通過控制節點相連以形成一工作流，所述動作節點用于觸發計算處理任務的執行，其包括Pig動作節點、Java動作節點、Shell動作節點、Hive動作節點及Sqoop動作節點，所述控制節點用于控制工作流作業的開始和結束，所述定時調度模塊用于定時調度作業流模塊執行作業，所述調度配置模塊用于對定時調度模塊進行批量配置，所述Hadoop集群包括HDFS文件系統、Hive數據庫、Pig數據分析引擎、Java應用程序、Shell腳本及Sqoop數據遷移工具。

優選地，所述所述調度組件還包括跟蹤模塊，所述跟蹤模塊用于對執行作業過程的日志進行記錄和跟蹤。

優選地，所述定時調度模塊包括觸發子模塊，所述觸發子模塊基于事件、資源存在或傳遞參數自動觸發調度作業流模塊執行作業。

優選地，所述控制流節點包括啟動節點及結束節點，所述開始節點用于控制工作流作業的開始，所述結束節點用于控制工作流作業的結束。

優選地，所述控制流節點還包括剔除節點，所述剔除節點用于控制工作流作業的終止。

優選地，所述控制流節點還包括分支節點和合并節點，所述分支節點用于一條路徑分離成多條同時進行的執行路徑，經分支節點分流的所有執行路徑完成后到達所述合并節點，進行匯聚收攏。

采用上述技術方案后，本發明與背景技術相比，具有如下優點：

本發明能夠實現數據作業的靈活調度，提升大數據平臺作業的高效性。

附圖說明

圖1為本發明的系統框圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

實施例