[發明專利]一種大數據容器化中心調度系統和方法

在審

• 申請號: 201911295883.2
• 申請日: 2019-12-16
• 公開（公告）號: CN111045791A
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 彭鋒;宋文欣;金雷;張飛;黃艷
• 申請（專利權）人: 武漢智領云科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/50
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 徐家升

本發明提出了一種大數據容器化中心調度系統，包括接入層，用于接收用戶的服務請求；任務管理層，用于接收接入層的服務請求，生成對作業、程序、工作流的管理數據命令；容器層，包括多個容器節點，用于產生基于任務管理層中服務請求的調度結果；資源層，用于為容器層提供資源支撐。通過原生支持的容器調度，實現容器化批處理任務的編排、調度、監控；無縫對接已有的大數據平臺，提供數據展現。

技術領域

本發明涉及大數據技術領域，尤其涉及一種大數據容器化中心調度系統和方法。

背景技術

數據中臺建設過程中，單個系統不能滿足復雜的業務需求，很多時候需要多個子系統相互協作，異步地按照指定流程完成一項特定的功能。一個靈活的大數據調度系統的作用越來越重要。目前國內外市場上有一些大數據調度框架和基于這些框架的大數據調度平臺，但還沒有一個可以簡單與任何大數據平臺無縫接入的集調度、授權、監控與一體的完整的大數據容器化調度系統。

基于Apache Oozie大數據調度框架的Gear愛奇藝大數據調度平臺解決了Hadoop上的任務調度，目前已經管理了大部分Hadoop/Spark任務，也應用到一些與Hadoop無關的定時任務管理上。但是Oozie本身的使用比較困難，用戶需要理解各種繁雜的概念，不容易上手。同時Gear旨在打造成愛奇藝內部通用的定時任務、工作流管理平臺,難以被各行業通用。

基于Airflow(Airbnb)搭建的Maat阿里云基于DAG的分布式任務調度平臺，將各類流程化的任務集中管理，各個任務節點以分布式的方式運行在不同的容器內，以保證流程高效穩定運行。由于原生的Airflow的管控比較簡單，是基于描述任務流程DAG的Python腳本調度，用戶進行任務的創建、更新、運行需要深入學習Airflow的原理才能上手，并且后期維護只能基于文件進行操作。

Kettle(Pentaho)作為開源ETL工具，功能強大簡潔。但Kettle本身的調度監控功能比較弱，Pentaho官方只能建議采用crontab(Unix平臺)和計劃任務(Windows平臺)來完成調度功能。

目前已有大數據容器化調度中心系統主要有以下不足：現有的大數據調度中心系統沒有基于容器的任務調度，調度策略不夠靈活；沒有集成的監控報警支持，UI界面不夠友好，使用復雜；沒有提供數據及服務的安全機制。

發明內容

為解決上述技術問題，本發明提出了一種大數據容器化中心調度系統和方法，通過原生支持的容器調度，實現容器化批處理任務的編排、調度、監控；無縫對接已有的大數據平臺，提供數據展現。

根據本發明的一實施例，本發明提出了一種大數據容器化中心調度系統，該系統包括接入層，用于接收用戶的服務請求；

任務管理層，用于接收接入層的服務請求，生成對作業、程序、工作流的管理數據命令；

容器層，包括多個容器節點，用于產生基于任務管理層中服務請求的調度結果；

資源層，用于為容器層提供資源支撐。

進一步的，所述接入層通過用戶界面接收用戶的服務請求。

進一步的，所述任務管理層包括任務服務器，數據處理節點，任務調度模塊以及數據存儲模塊，其中，

所述任務服務器，用于接收接入層的服務請求；

所述數據處理節點，用于對根據所述服務請求采集數據源，對數據源進行清洗、處理操作；

所述任務調度模塊，用于將清洗、處理后的數據調度至容器層進行處理；

所述數據存儲模塊，用于存儲服務請求的信息、容器層處理后的結果信息以及與服務請求對應的資源信息。

進一步的，所述容器節點包括監控執行節點、調度預處理節點以及調度決策節點，