[發明專利]交互式統一大數據編程計算平臺

在審

• 申請號: 202010192762.1
• 申請日: 2020-03-18
• 公開（公告）號: CN111414349A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 趙博
• 申請（專利權）人: 江蘇鴻程大數據技術與應用研究院有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 北京聯瑞聯豐知識產權代理事務所(普通合伙) 11411
• 代理人: 周超

1.一種交互式統一大數據編程計算平臺，其特征在于，包括：前端服務器、后端服務器、大數據集群和數據庫服務器，所述前端服務器和后端服務器獨立部署；

所述前端服務器用于接收用戶請求，并將用戶請求發送至所述后端服務器；

所述后端服務器用于將所述用戶請求轉發至大數據集群處理，并將大數據集群的處理結果返回至前端服務器，及將所述處理結果發送至數據庫服務器存儲；

所述大數據集群包括：并行計算框架、分布式存儲框架、分布式協調框架和分布式數據查詢管理框架，用于根據所述用戶請求執行相應地處理，并將處理結果返回至所述后端服務器，所述并行計算框架包括：MapReduce集群和Spark集群，所述分布式存儲框架包括：HDFS集群、Alluxio集群和HBase集群，所述分布式協調框架包括：Zookeeper集群，所述分布式數據查詢管理框架包括：Hive集群和Presto集群；

數據庫服務器用于儲存用戶數據以及所述處理結果。

2.如權利要求1所述的交互式統一大數據編程計算平臺，其特征在于，對于Hive集群，開啟hiveserver2和metastore以供遠程連接。

3.如權利要求1所述的交互式統一大數據編程計算平臺，其特征在于，對于Spark集群，統一使用Spark On Yarn模式部署，并且在Spark-default.xml中進行配置來開放SparkUI頁面可投影的地址。

4.如權利要求1所述的交互式統一大數據編程計算平臺，其特征在于，所述前端服務器包括：

配置文件讀取模塊，用于讀取前端配置文件，所述前端配置文件中包含前端的功能模塊所需要的全部依賴；

所述功能模塊包括：交互編程與作業提交模塊、大數據并行計算模塊、大數據分布存儲模塊、大數據查詢管理模塊、科研實訓與教學實驗模塊和用戶管理與運維模塊，用于使用戶通過相應的功能模塊發起相應功能的用戶請求，每個模塊均包括多個.vue文件，所述.vue文件中記錄了每個功能模塊相應的功能及子功能實現方法。

5.如權利要求4所述的交互式統一大數據編程計算平臺，其特征在于，所述后端服務器包括控制模塊及與用戶請求相對應的處理模塊，

所述控制模塊用于根據用戶請求的類型將用戶請求發送至相應的處理模塊；

所述處理模塊用于將所述用戶請求發送至大數據集群，并將處理過程中產生的數據發送至數據庫服務器存儲。

6.如權利要求1所述的交互式統一大數據編程計算平臺，其特征在于，所述前端服務器還用于接收到用戶請求時驗證用戶token。

7.如權利要求1所述的交互式統一大數據編程計算平臺，其特征在于，所述前端服務器還用于驗證涉及到安全性的功能請求，驗證通過后將請求發送到后端服務器再次認證然后執行并返回結果。