[發明專利]一種基于云計算的Apache Kylin托管系統及方法

在審

• 申請號: 202011483291.6
• 申請日: 2020-12-15
• 公開（公告）號: CN112559128A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 石鵬磊;夏赟偉;李揚;韓卿
• 申請（專利權）人: 跬云（上海）信息科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/50;G06F11/30
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 卜榮麗

本發明提供一種基于云計算的Apache Kylin托管系統及方法，在虛擬機上設置管理模塊負責云上基礎設施的申請與創建，管理模塊通過調用云平臺提供的公共接口，在用戶的云平臺賬號內自動創建所需要的計算、存儲及網絡資源；將計算與存儲分離集群中的節點只提供計算資源，使用對象存儲作為存儲資源；以Apache Kylin作為OLAP引擎，并內置了數據可視化軟件。基于本發明，可以在云上快速構建出一個低門檻、低成本、高性能的OLAP分析平臺，滿足企業在云上的數據分析需求。

技術領域

本發明涉及數據分析技術領域，尤其涉及一種基于云計算的Apache Kylin托管系統及方法。

背景技術

目前，Apache Kylin是一個開源的分布式分析引擎，提供Hadoop/Spark之上的SQL查詢接口及多維分析(OLAP)能力，支持對超大規模數據進行亞秒級查詢，目前已被全球上千家企業采用。當前，企業在采用Apache Kylin進行數據分析時，主要遇到三個問題，第一，Apache Kylin需要運行在Hadoop集群之上，對于還沒有Hadoop集群的企業，部署運維集群的難度較大，使用門檻也比較高，需要相應的大數據人才。第二，面對日益增長的海量數據與訪問流量，需要不斷增加IT基礎設施，投入較大。第三，云計算相比傳統數據中心具有低成本、可擴展性及安全性等眾多優勢，IT基礎設施上云是當下的趨勢，企業必須要考慮數據上云之后的數據分析解決方案。

發明內容

有鑒于此，針對目前企業使用Apache Kylin遇到的痛點與需求，本公開提供一種基于云計算的Apache Kylin托管系統及方法，技術方案如下：

一方面，本發明提供了一種基于云計算的Apache Kylin托管系統，包括管理模塊、計算模塊、應用模塊及監控模塊，在虛擬機上設置管理模塊，使用按鈕操作申請與創建負責云上基礎設施的申請與創建，部署Apache Kylin以及集群，用于管理計算模塊、應用模塊和監控模塊的部署與運維，計算模塊是由若干至少4個節點組成的分布式計算集群，用于給應用模塊提供計算與存儲資源，具備自動伸縮的能力，應用模塊用于提供OLAP分析能力與數據可視化能力，監控模塊用于對計算模塊與應用模塊的監控。

進一步地，所述的管理模塊，通過調用云平臺提供的公共接口，在用戶的云平臺賬號內自動創建所需要的云上基礎設施，包括計算、存儲及網絡資源，管理模塊在至少4個節點上部署計算模塊程序，構建計算模塊，在至少1個節點上部署應用模塊程序，構建應用模塊，在計算模塊與應用模塊的節點上部署監控程序，構建全平臺的監控模塊。

進一步地，所述的計算模塊采用計算與存儲分離的架構，集群中的節點只提供計算資源，使用對象存儲作為存儲資源。

進一步地，所述的計算模塊具備自動伸縮的能力，根據當前集群的負載狀態以及相應的伸縮策略，在集群有計算任務因為資源不足處于等待狀態時自動增加計算節點應對計算負載，在集群有節點沒有任務，處于空閑狀態時自動釋放空閑的計算節點。

進一步地，所述的應用模塊提交計算任務給計算模塊，計算模塊完成計算后，將結果返回給應用模塊或者將結果持久化存儲。

進一步地，所述的應用模塊以Apache Kylin作為OLAP引擎，并內置了數據可視化軟件。

進一步地，所述的應用模塊提供了從數據接入、建模到報表展示的全鏈路一站式的數據分析能力，提供了與主流BI軟件的對接能力。

進一步地，所述的監控模塊的監控工作，包括對所有節點的系統指標監控并且可以設置各個指標的閾值進行郵件報警，還包括收集所有模塊的系統日志，對支持日志的展示與查詢。

另一方面，本發明提供了一種基于云計算的Apache Kylin托管方法，所述方法應用在上述基于云計算的Apache Kylin托管系統中，包括以下步驟：

步驟1：管理模塊申請并創建云上基礎設施，部署計算模塊、應用模塊和監控模塊；