[發明專利]大數據分布式任務調度系統

在審

• 申請號: 201810643612.0
• 申請日: 2018-06-21
• 公開（公告）號: CN108874524A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 李平福;程林;楊培強
• 申請（專利權）人: 山東浪潮商用系統有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 王守梅

本發明公開了大數據分布式任務調度系統，包括通過代理服務器實現分布式任務調度，通過采集集群、流式集群和分布式消息隊列實現調度日志采集和匯總，將查詢結果送達web前端進行分析與展示。本發明和現有技術相比，滿足了簡易需求的大數據調度需求，提升其快速部署與使用效率，在適用行業大數據應用場景的同時，降低使用成本并且增加調度系統的通用性。

技術領域

本發明涉及分布式任務調動技術領域，具體地說是一種大數據分布式任務調度系統。

背景技術

當前正處于大數據技術飛速發展的時代，各行業在使用大數據的同時也面臨著許多技術問題，其中如何正確高效的解決大數據集群任務的調度，如何匯總分析調度歷史記錄，如何降低集群管理難度，提升易維護性也是各行業面臨的一項難題；在如今技術領域尚未形成一個標準化的調度系統，究其原因，一方面來自于各行業業務的千差萬別，另一方面也取決于任務調度系統的定制化與業務復雜性。除了Crontab、Quartz這類偏單機的定時調度程序或類庫，開源分布式任務調度系統也有很多，比較知名的有oozie，azkaban等，像阿里的SchedulerX，騰訊的Lhotse，一般都是自主研發或在開源的基礎上進行一些封裝和改造，比較多的公司采取了封裝oozie的方式，但是，存在的弊端如下： 1、使用場景復雜多樣，開發人員開發成本過高；2、偏向于單結點調度，使用場景不適用互相獨立的大數據集群和應用集群；3、集群調度存在任務重復調度的問題；4、在應對簡易調度需求時，上述系統略顯笨重，且無法快速部署與使用，同時其架構的復雜性也增加了異常或錯誤發生的可能性；5、集群中出現的調度系統和應用系統競爭資源，降低雙方系統穩定性的問題；6、集群的調度信息、日志收集、分析、展示困難的問題。

發明內容

本發明的技術任務是針對上述問題，為了建設滿足簡易需求的大數據調度需求，提升其快速部署與使用效率，在適用行業大數據應用場景的同時，降低使用成本增加調度系統的通用性，本發明提出了一種易實施性、簡單易用的大數據分布式任務調度系統。

本發明解決其技術問題所采用的技術方案是：大數據分布式任務調度方法，具體方法包括通過代理服務器實現分布式任務調度，通過采集集群、流式集群和分布式消息隊列實現調度日志采集和匯總，將查詢結果送達web前端進行分析與展示。

進一步的，

S1、用戶通過應用服務器配置調度規則；

S2、應用服務器根據調度規則配置代理服務器；

S3、代理服務器提交調度任務至集群；

S4、集群將任務日志發送至日志服務器；

S5、采集集群收集任務日志；

S6、流式計算集群推送或拉取任務日志；

S7、應用服務器遠程提交任務日志處理程序至流式計算集群；

S8、流式計算集群匯總任務日志結果并存入數據庫服務器；

S9、應用服務器返回、增刪、改查任務日志結果；

S10、應用服務器將查詢結果送達web前端進行分析與展示。

大數據分布式任務調度系統，包括任務調度系統和調度日志采集匯總系統；

所述的任務調度系統，基于Insight HD大數據平臺，利用類UNIX系統中的Crontab實現分布式任務調度；

所述的調度日志采集匯總系統，用于調度日志采集和匯總，并將采集和匯總結果送達web前端進行分析、展示；

所述的任務調度系統，包括Hadoop集群模塊、應用服務器模塊、關系型數據庫模塊、調度代理服務器模塊和日志收集服務器模塊。