[發明專利]多引擎大數據平臺

在審

• 申請號: 202110911203.6
• 申請日: 2021-08-10
• 公開（公告）號: CN113377877A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 劉天瓊;林俊鋒;歐世民
• 申請（專利權）人: 深圳市愛云信息科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28;G06F21/31;G06F21/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.多引擎大數據平臺，其特征在于，包括存儲引擎、資源管理系統、計算引擎、分析引擎、交互終端、用戶管理系統、任務管理系統、數據管理系統，所述存儲引擎用于實現結構化數據、非結構化數據的存儲和查詢功能，所述資源管理系統用于實現不同部門、不同場景下的不同類型作業的資源管理功能，所述分析引擎用于實現不同場景的分析功能，所述計算引擎用于作為所述分析引擎的基礎以提供大數據的分析處理功能，所述交互終端用于實現不同終端的用戶統一和權限統一，所述用戶管理系統用于實現多用戶管理功能，所述任務管理系統用于形成全流程自動化的任務運行機制，所述數據管理系統用于實現規范、有序的數據管理功能；所述存儲引擎與所述資源管理系統和所述用戶管理系統通過計算機應用程序接口和網絡實現數據交換，所述資源管理系統還與所述計算引擎通過計算機應用程序接口和網絡實現數據交換，所述任務管理系統分別與所述資源管理系統和所述計算引擎通過計算機應用程序接口和網絡實現數據交換，所述計算引擎還與所述分析引擎通過計算機應用程序接口和網絡實現數據交換，所述分析引擎還分別與所述交互終端和所述數據管理系統通過計算機應用程序接口和網絡實現數據交換；

所述存儲引擎包括關系型數據庫、非關系型數據庫、搜索引擎以及分布式文件系統；所述關系型數據庫用于存儲結構化數據，所述非關系型數據庫用于存儲非結構化數據，所述搜索引擎用于實現所述關系型數據庫和所述非關系型數據庫的數據查詢、搜索功能，所述分布式文件系統用于把大量數據分散到不同節點上存儲以減小數據丟失風險；

所述計算引擎包括分布式計算引擎、內存計算引擎、液式計算引擎，所述分布式計算引擎用于提供大規模數據集的分布式并行運算能力，所述內存計算引擎用于實現數據挖掘場景下需要多次迭代的復雜運算模式的功能，所述液式計算引擎為針對流數據和批數據的分布式實時處理引擎；

所述分析引擎包括SQL批處理引擎、SQL交互式查詢引擎、機器學習引擎、深度學習引擎、圖分析引擎、流式分析引擎，所述SQL批處理引擎用于實現數據庫的搜索查詢功能，所述SQL交互式查詢引擎用于實現數據庫的交互式查詢功能，所述機器學習引擎用于實現數據庫的機器學習功能，所述深度學習引擎用于實現數據庫的深度學習功能，所述圖分析引擎用于實現數據庫的圖分析功能，所述流式分析引擎用于實現數據庫的自然語言分析功能。

2.根據權利要求1所述的多引擎大數據平臺，其特征在于，所述數據管理系統包括數據導入模塊和數據資產模塊，所述數據導入模塊用于實現數據導入管理功能，所述數據資產模塊用于規劃HDFS存儲目錄結構、制定HBase命名空間與Hive庫表對象等命名規范以及提供數據資產查詢功能，以實現對數據資產的有效管理以及幫助用戶快速使用數據。

3.根據權利要求1所述的多引擎大數據平臺，其特征在于，所述任務管理系統包括作業封裝模塊和任務調度模塊，所述作業封裝模塊利用Shell/Perl腳本封裝作業程序、配置作業依賴形成作業流，所述任務調度模塊用于將作業流部署至Control-M作業調度服務器以及監控作業流的運行狀態。

4.根據權利要求1所述的多引擎大數據平臺，其特征在于，所述用戶管理系統包括前端用戶管理模塊和Hadoop用戶管理模塊；所述前端用戶管理模塊用于為前端用戶定義訪問權限和操作權限；所述Hadoop用戶管理模塊采用標準RBAC模型，通過給用戶綁定角色來賦予用戶對象的訪問權限，以用戶-部門-角色-權限的關系鏈路來指定用戶的操作權限，在用戶維度上，按照業務部門、業務應用的粒度來創建用戶，在角色維度上，對于每一個用戶都綁定了普通角色和租戶角色兩個角色，普通角色賦予用戶對HDFS、HBase、Hive數據對象的操作權限，租戶角色賦予用戶訪問租戶服務和資源的權限。

5.根據權利要求1所述的多引擎大數據平臺，其特征在于，所述交互終端包括大數據開源工具有SAS EG、Zeppelin以及Jupyter Notebook。

6.根據權利要求1所述的多引擎大數據平臺，其特征在于，所述分布式計算引擎采用MapReduce，所述內存計算引擎采用Spark，所述液式計算引擎采用Flink。