[發明專利]分布式的數據分析任務調度系統

在審

• 申請號: 201610712300.1
• 申請日: 2016-08-23
• 公開（公告）號: CN107766147A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 孫冬雪;萬英杰;李娟;史寧;鮑遠松;黃明;李亞貝
• 申請（專利權）人: 上海寶信軟件股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/30
• 代理公司: 上海漢聲知識產權代理有限公司31236
• 代理人: 郭國中

1.一種分布式的數據分析任務調度系統，其特征在于，包括：

分布式數據存儲服務模塊：通過非關系型數據庫進行存儲，通過分布式搜索引擎進行數據的檢索，提供分布式數據存儲服務

基于資源的分布式任務調度引擎模塊：進行資源管理、資源控制、任務調度與跟蹤，提供任務調度服務；

分布式消息隊列模塊：通過分布式消息隊列實現數據的發布與訂閱功能；

分布式應用程序協調服務模塊：對單節點上的自動執行引擎任務的后續執行進行容錯；

自動執行引擎模塊：對數據分析任務做分析。

2.根據權利要求1所述的分布式的數據分析任務調度系統，其特征在于，非關系型數據庫采用數據庫HBase；分布式搜索引擎采用搜索應用服務器Solr。

3.根據權利要求1所述的分布式的數據分析任務調度系統，其特征在于，分布式數據存儲服務模塊是分析任務的數據來源。

4.根據權利要求1所述的分布式的數據分析任務調度系統，其特征在于，分布式數據存儲服務模塊是任務文件和數據分析結果的存儲載體。

5.根據權利要求1所述的分布式的數據分析任務調度系統，其特征在于，基于資源的分布式任務調度引擎模塊，是基于資源管理器YARN進行資源管理、資源控制、任務調度與跟蹤。

6.根據權利要求1所述的分布式的數據分析任務調度系統，其特征在于，自動執行引擎模塊，按照周期訪問、按照定時觸發兩種方式，對數據分析任務做持續分析，利用分布式應用程序協調服務對節點上的自動調度引擎進行容錯。

7.根據權利要求1所述的分布式的數據分析任務調度系統，其特征在于，在系統初始化階段，各個節點的應用程序從分布式數據存儲服務模塊中加載基于定時調度引擎的運行態的數據分析任務，在分布式消息隊列中創建任務變動話題TOPIC，加載分布式應用程序協調服務ZooKeeper；

提供SDK接口調用分布式數據存儲服務模塊，獲取轉化為R語言中核心數據結構Data.Frame結構的數據源，將數據分析結果保存到分布式存儲載體中；

運行態的任務，自動調度引擎策略的變動通過分布式消息隊列在集群廣播，各節點訂閱任務變動話題TOPIC分別在各自節點更新自動調度引擎策略。

8.根據權利要求7所述的分布式的數據分析任務調度系統，其特征在于，初始化加載運行態的數據任務，用于繼續在上次集群整體災難上后的任務執行。

9.根據權利要求7所述的分布式的數據分析任務調度系統，其特征在于，資源管理器控制單個任務的內存、CPU的使用量不超過該任務的申請值，并提供執行日志和狀態查詢。

10.根據權利要求9所述的分布式的數據分析任務調度系統，其特征在于，分析腳本文件從分布式存儲服務中獲取，通過HDFS在集群中廣播。