[發明專利]一種大數據平臺

在審

• 申請號: 202011295080.X
• 申請日: 2020-11-18
• 公開（公告）號: CN112632135A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 石海龍
• 申請（專利權）人: 北京天源迪科信息技術有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/21;G06F16/215;G06F16/22;G06F21/62;G06F16/25
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 姜楠楠

本申請公開了一種大數據平臺，包括：統一鑒權與訪問控制模塊，用于為各模塊提供統一的帳號管理、身份認證以及用戶授權服務；數據集成模塊，采用Kettle和DataX實現數據集成；統一調度模塊，實現各模塊之間任務的統一調度；數據治理模塊，用于進行主數據管理、元數據管理、數據質量管理以及數據標準管理；數據開發平臺模塊，用于建設統一訪問層、對數據庫進行管理、進行腳本在線編寫、管理并維護開發所生成的腳本；數據分析模塊；數據安全模塊；數據服務模塊，用于建設統一訪問層，提供數據表查看預覽、查詢語句執行的功能，以及依據表名或查詢語句定制REST服務、并進行服務發布；運營監控模塊，以及平臺門戶管理模塊。

技術領域

本申請涉及一種大數據平臺。

背景技術

大數據平臺是指以處理海量數據存儲、計算及不間斷流數據實時計算等場景為主的一套基礎設施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。

隨著大數據生態的完善，眾多開源組件如雨后春筍般層出不窮。開源組件采用的技術棧不同，在功能上各有側重，不同組件如同一個個孤島，缺少協作，給使用者帶來極大的不便。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種大數據平臺，包括：

統一鑒權與訪問控制模塊，用于為各模塊提供統一的帳號管理、身份認證以及用戶授權服務；

數據集成模塊，采用Kettle和DataX實現數據集成；

統一調度模塊，包括若干個控制節點和若干個工作節點，所述控制節點用于實現任務的調度控制，所述工作節點用于根據所述控制節點下發的指令執行具體任務，并將執行結果反饋給所述控制節點；

數據治理模塊，用于進行主數據管理、元數據管理、數據質量管理以及數據標準管理；

數據開發平臺模塊，用于建設統一訪問層、對數據庫進行管理、進行腳本在線編寫、管理并維護開發所生成的腳本；

數據分析模塊，用于從數據源中采集數據，根據所搭建的數據分析模型對采集到的數據進行分析，并通過可視化的方式展現各數據分析模型的分析結果；

數據安全模塊，用于對訪問大數據平臺集群以及其中數據的用戶和應用進行限制，記錄數據來源、使用情況和銷毀情況，對數據進行加密和脫敏，對多租戶進行隔離，對數據進行侵權保護，以及容災管理；

數據服務模塊，用于建設統一訪問層，提供數據表查看預覽、查詢語句執行的功能，以及依據表名或查詢語句定制REST服務、并進行服務發布；

運營監控模塊，用于對系統資源的使用情況和服務/調度任務的運行狀態進行監控，并且在出現異常時觸發報警；和

平臺門戶管理模塊，用于對平臺門戶進行管理。

可選地，所述統一鑒權模塊以開源軟件keycloak作為用戶權限的實際載體，通過對原生keycloak管理接口進行代理和聚合來形成API能力集；同時保留對原生API的訪問。

可選地，所述的數據集成模塊包括：

數據源管理子模塊，用于維護多個數據源的連接信息，以及驗證所述連接的有效性；

數據預覽子模塊，用于實現對多種數據源內的表結構的查看，以及TOP-N數據的查看；和

任務管理子模塊，用于對數據同步任務、數據清洗任務以及數據轉換任務的管理。

可選地，所述數據治理模塊包括：