[發(fā)明專利]交互式統(tǒng)一大數(shù)據(jù)編程計算平臺

在審

• 申請?zhí)枺?/td>: 202010192762.1
• 申請日: 2020-03-18
• 公開（公告）號: CN111414349A
• 公開（公告）日: 2020-07-14
• 發(fā)明（設計）人: 趙博
• 申請（專利權(quán)）人: 江蘇鴻程大數(shù)據(jù)技術(shù)與應用研究院有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 北京聯(lián)瑞聯(lián)豐知識產(chǎn)權(quán)代理事務所(普通合伙) 11411
• 代理人: 周超

本發(fā)明涉及大數(shù)據(jù)技術(shù)領域，公開了一種交互式統(tǒng)一大數(shù)據(jù)編程計算平臺，包括：前端服務器、后端服務器、大數(shù)據(jù)集群和數(shù)據(jù)庫服務器，所述前端服務器和后端服務器獨立部署；所述前端服務器用于接收用戶請求，并將用戶請求發(fā)送至所述后端服務器；所述后端服務器用于將所述用戶請求轉(zhuǎn)發(fā)至大數(shù)據(jù)集群處理，并將大數(shù)據(jù)集群的處理結(jié)果返回至前端服務器，及將所述處理結(jié)果發(fā)送至數(shù)據(jù)庫服務器存儲；所述大數(shù)據(jù)集群包括：并行計算框架、分布式存儲框架、分布式協(xié)調(diào)框架和分布式數(shù)據(jù)查詢管理框架；數(shù)據(jù)庫服務器用于儲存用戶數(shù)據(jù)以及所述處理結(jié)果。本發(fā)明解決了大數(shù)據(jù)集群較難搭建的問，降低了安裝配置門檻，使得用戶可以方便、快速的學習使用大數(shù)據(jù)技術(shù)。

技術(shù)領域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領域，特別涉及一種交互式統(tǒng)一大數(shù)據(jù)編程計算平臺。

背景技術(shù)

隨著大數(shù)據(jù)時代的到來，傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)不能滿足日益增長的數(shù)據(jù)量了，現(xiàn)在的數(shù)據(jù)量每天能達到TB甚至PB級，在數(shù)據(jù)存儲上就不同以往，必須采用分布式的存儲，以采用保證數(shù)據(jù)的安全性和可用性，如果涉及到計算層，更是需要大量的計算資源。因此，在這個時代的迫切需求下，各種大數(shù)據(jù)技術(shù)層出不窮，從數(shù)據(jù)存儲到數(shù)據(jù)查詢，再到數(shù)據(jù)計算分析，每個階段都有許多可用的技術(shù)框架，這對行業(yè)的發(fā)展起到了促進作用。但也導致了以下問題：選型困難、易用性不高、開發(fā)環(huán)境難以配置，這些問題也困擾著廣大個人工作者或一些小型的公司。

為了解決這些問題，很多公司開發(fā)出了自己的大數(shù)據(jù)框架，例如CDH的Hadoop發(fā)行版、阿里巴巴改進的Blink等。但是這些框架也有如下問題，要么是重量級框架，安裝部署不便；要么沒有原生的技術(shù)體驗，用戶難以理解掌握；而且用戶難以獲得一站式的大數(shù)據(jù)技術(shù)開發(fā)環(huán)境。為了解決這個問題，有些公司也開發(fā)出了大數(shù)據(jù)平臺，可以在邊學習邊使用，但是都存在著一個通病，就是需要用戶自己搭建大數(shù)據(jù)集群，然后再使用自己搭建的集群來學習大數(shù)據(jù)，這樣的話，在第一步就很容易出錯，而且與實際生產(chǎn)的集群環(huán)境相差甚遠，無法領會到大數(shù)據(jù)的優(yōu)勢。

發(fā)明內(nèi)容

本發(fā)明提出一種交互式統(tǒng)一大數(shù)據(jù)編程計算平臺，解決現(xiàn)有技術(shù)中用戶在建設自己的大數(shù)據(jù)平臺時經(jīng)常遇到選型困難、安裝配置門檻高、統(tǒng)一用戶管理不便以及大數(shù)據(jù)集群較難搭建等一系列問題。

本發(fā)明的一種交互式統(tǒng)一大數(shù)據(jù)編程計算平臺，包括：前端服務器、后端服務器、大數(shù)據(jù)集群和數(shù)據(jù)庫服務器，所述前端服務器和后端服務器獨立部署；

所述前端服務器用于接收用戶請求，并將用戶請求發(fā)送至所述后端服務器；

所述后端服務器用于將所述用戶請求轉(zhuǎn)發(fā)至大數(shù)據(jù)集群處理，并將大數(shù)據(jù)集群的處理結(jié)果返回至前端服務器，及將所述處理結(jié)果發(fā)送至數(shù)據(jù)庫服務器存儲；

所述大數(shù)據(jù)集群包括：并行計算框架、分布式存儲框架、分布式協(xié)調(diào)框架和分布式數(shù)據(jù)查詢管理框架，用于根據(jù)所述用戶請求執(zhí)行相應地處理，并將處理結(jié)果返回至所述后端服務器，所述并行計算框架包括：MapReduce集群和Spark集群，所述分布式存儲框架包括：HDFS集群、Alluxio集群和HBase集群，所述分布式協(xié)調(diào)框架包括：Zookeeper集群，所述分布式數(shù)據(jù)查詢管理框架包括：Hive集群和Presto集群；

數(shù)據(jù)庫服務器用于儲存用戶數(shù)據(jù)以及所述處理結(jié)果。

其中，對于Hive集群，開啟hiveserver2和metastore以供遠程連接。

其中，對于Spark集群，統(tǒng)一使用Spark On Yarn模式部署，并且在Spark-default.xml中進行配置來開放SparkUI頁面可投影的地址。

其中，所述前端服務器包括：

配置文件讀取模塊，用于讀取前端配置文件，所述前端配置文件中包含前端的功能模塊所需要的全部依賴；