[發明專利]一種多維數據作業調度系統

在審

• 申請號: 202010556325.3
• 申請日: 2020-06-17
• 公開（公告）號: CN111694650A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 吳炎泉;陳思恩;楊紫勝;廖雅哲
• 申請（專利權）人: 科技谷（廈門）信息技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/28
• 代理公司: 廈門致群專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶;鄧貴琴

1.一種多維數據作業調度系統，其特征在于：包括客戶端、Web服務器、調度組件、Hadoop集群及數據庫，所述客戶端包括JavaAPI接口、RestAPI接口及CLI命令行工具，所述客戶端通過Web服務器與調度組件進行數據交互，所述調度組件包括作業流模塊、定時調度模塊及調度配置模塊，所述作業流模塊一組動作節點及控制節點，該組動作節點通過控制節點相連以形成一工作流，所述動作節點用于觸發計算處理任務的執行，其包括Pig動作節點、Java動作節點、Shell動作節點、Hive動作節點及Sqoop動作節點，所述控制節點用于控制工作流作業的開始和結束，所述定時調度模塊用于定時調度作業流模塊執行作業，所述調度配置模塊用于對定時調度模塊進行批量配置，所述Hadoop集群包括HDFS文件系統、Hive數據庫、Pig數據分析引擎、Java應用程序、Shell腳本及Sqoop數據遷移工具。

2.如權利要求1所述的一種多維數據作業調度系統，其特征在于，所述所述調度組件還包括跟蹤模塊，所述跟蹤模塊用于對執行作業過程的日志進行記錄和跟蹤。

3.如權利要求1或2所述的一種多維數據作業調度系統，其特征在于：所述定時調度模塊包括觸發子模塊，所述觸發子模塊基于事件、資源存在或傳遞參數自動觸發調度作業流模塊執行作業。

4.如權利要求1所述的一種多維數據作業調度系統，其特征在于：所述控制流節點包括啟動節點及結束節點，所述開始節點用于控制工作流作業的開始，所述結束節點用于控制工作流作業的結束。

5.如權利要求4所述的一種多維數據作業調度系統，其特征在于：所述控制流節點還包括剔除節點，所述剔除節點用于控制工作流作業的終止。

6.如權利要求4所述的一種多維數據作業調度系統，其特征在于：所述控制流節點還包括分支節點和合并節點，所述分支節點用于一條路徑分離成多條同時進行的執行路徑，經分支節點分流的所有執行路徑完成后到達所述合并節點，進行匯聚收攏。