[發明專利]一種大數據平臺

在審

• 申請號: 202011295080.X
• 申請日: 2020-11-18
• 公開（公告）號: CN112632135A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 石海龍
• 申請（專利權）人: 北京天源迪科信息技術有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/21;G06F16/215;G06F16/22;G06F21/62;G06F16/25
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 姜楠楠

1.一種大數據平臺，包括：

統一鑒權與訪問控制模塊，用于為各模塊提供統一的帳號管理、身份認證以及用戶授權服務；

數據集成模塊，采用Kettle和DataX實現數據集成；

統一調度模塊，包括若干個控制節點和若干個工作節點，所述控制節點用于實現任務的調度控制，所述工作節點用于根據所述控制節點下發的指令執行具體任務，并將執行結果反饋給所述控制節點；

數據治理模塊，用于進行主數據管理、元數據管理、數據質量管理以及數據標準管理；

數據開發平臺模塊，用于建設統一訪問層、對數據庫進行管理、進行腳本在線編寫、管理并維護開發所生成的腳本；

數據分析模塊，用于從數據源中采集數據，根據所搭建的數據分析模型對采集到的數據進行分析，并通過可視化的方式展現各數據分析模型的分析結果；

數據安全模塊，用于對訪問大數據平臺集群以及其中數據的用戶和應用進行限制，記錄數據來源、使用情況和銷毀情況，對數據進行加密和脫敏，對多租戶進行隔離，對數據進行侵權保護，以及容災管理；

數據服務模塊，用于建設統一訪問層，提供數據表查看預覽、查詢語句執行的功能，以及依據表名或查詢語句定制REST服務、并進行服務發布；

運營監控模塊，用于對系統資源的使用情況和服務/調度任務的運行狀態進行監控，并且在出現異常時觸發報警；和

平臺門戶管理模塊，用于對平臺門戶進行管理。

2.根據權利要求1所述的大數據平臺，其特征在于，所述統一鑒權模塊以開源軟件keycloak作為用戶權限的實際載體，通過對原生keycloak管理接口進行代理和聚合來形成API能力集；同時保留對原生API的訪問。

3.根據權利要求1或2所述的大數據平臺，其特征在于，所述的數據集成模塊包括：

數據源管理子模塊，用于維護多個數據源的連接信息，以及驗證所述連接的有效性；

數據預覽子模塊，用于實現對多種數據源內的表結構的查看，以及TOP-N數據的查看；和

任務管理子模塊，用于對數據同步任務、數據清洗任務以及數據轉換任務的管理。

4.根據權利要求1-3中任一項所述的大數據平臺，其特征在于，所述數據治理模塊包括：

主數據管理子模塊，用于創建并維護核心數據的完整性、一致性、正確性，并以服務的方式把統一的、標準的主數據提供給其他系統和模塊使用；

元數據管理子模塊，用于對元數據進行集中管理；

數據質量管理子模塊，用于依據質量檢查規則對數據進行質量檢核，并出具數據質量報告，同時對外提供質量檢查服務；和

數據標準管理，用于針對企業數據制定標準，并采用制定的標準對數據進行規范。

5.根據權利要求1-4中任一項所述的大數據平臺，其特征在于，所述數據安全模塊包括：

數據管理子模塊，用于對數據的安全等級進行限定；

數據保護子模塊，用于對數據進行加密和脫敏，對HDFS文件進行加密，以及防止數據丟失；

統一鑒權與訪問控制子模塊，用于實現服務加密SSL、集群節點加密和安全域；和

基礎安全子模塊。

6.根據權利要求1-5中任一項所述的大數據平臺，其特征在于，所述運營監控模塊包括：

基礎監控數據采集子模塊；

數據接收/拉取子模塊；

調度任務監控采集子模塊；

數據存儲子模塊；

告警處理、告警發送子模塊；和

監控Web以及對外服務子模塊。

7.根據權利要求1-6中任一項所述的大數據平臺，其特征在于，所述平臺門戶管理模塊包括：

單點登錄子模塊；

統一信息展示子模塊；

子系統管理子模塊；和

菜單管理子模塊。

8.根據權利要求7所述的大數據平臺，其特征在于，所述統一信息展示子模塊采用single-spa技術，對不同模塊的前端頁面進行集成。