[發(fā)明專利]海量數(shù)據(jù)處理方法及其系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711009275.1
• 申請日: 2017-10-25
• 公開（公告）號: CN107861723A
• 公開（公告）日: 2018-03-30
• 發(fā)明（設(shè)計）人: 官輝;顧正;范長春
• 申請（專利權(quán)）人: 深圳市華成峰科技有限公司
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F8/61
• 代理公司: 深圳市精英專利事務(wù)所44242
• 代理人: 馮筠

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理方法，更具體地說是指海量數(shù)據(jù)處理方法及其系統(tǒng)。

背景技術(shù)

在網(wǎng)絡(luò)間數(shù)據(jù)傳輸和應(yīng)用中，通常需要將信息轉(zhuǎn)換成二進制文件，實現(xiàn)數(shù)據(jù)傳輸和應(yīng)用，當前比較流行的幾種數(shù)據(jù)交換格式包括以下三種：XML、JSON以及YAML；其中，XML是當前編程中最為流行的數(shù)據(jù)交換格式，擁有跨平臺、跨語言的優(yōu)勢，JSON(JavaScript Object Notation)是一種輕量級的數(shù)據(jù)交換格式，它是基于JavaScript的一個子集，易于人閱讀和編寫。同時也易于機器解析和生成，同XML或HTML片段相比，JSON提供了更好的簡單性和靈活性；在Javascript地盤內(nèi)，JSON畢竟是主場作戰(zhàn)，其優(yōu)勢當然要遠遠優(yōu)越于xml，非常適合于服務(wù)器與JavaScript的交互，JSON的數(shù)據(jù)表示和XML一樣，JSON也是基于純文本的數(shù)據(jù)格式。由于JSON天生是為JavaScript準備的，因此，JSON的數(shù)據(jù)格式非常簡單，用JSON傳輸一個簡單的String，Number，Boolean，也可以傳輸一個數(shù)組，或者一個復雜的Object對象，JSON的數(shù)據(jù)處理原理的步驟如下：客戶端發(fā)送數(shù)據(jù)到服務(wù)器端，服務(wù)器端響應(yīng)用戶請求返回數(shù)據(jù)，此時可以將服務(wù)器端的數(shù)據(jù)封裝成為JSON傳送到Web頁面；在Java開發(fā)服務(wù)器端通常用以下幾個方法將后臺得到的數(shù)據(jù)封裝成為JSON數(shù)據(jù)；YAML是一種直觀的能夠被電腦識別的數(shù)據(jù)序列化格式，換種說法，YAML是一種很簡單的類似于XML的數(shù)據(jù)描述語言，語法比XML簡單很多，在YAML里面，結(jié)構(gòu)通過縮進來表示，連續(xù)的項目通過減號來表示；map結(jié)構(gòu)里面的key/value對用冒號來分隔；YAML也有用來描述好幾行相同結(jié)構(gòu)的數(shù)據(jù)的縮寫語法，數(shù)組用“[]”包括起來，hash用“{}”來包括。

但是，上述的三種數(shù)據(jù)交換格式分別存在以下的問題，XML文件龐大，文件格式復雜，傳輸占帶寬，服務(wù)器端和客戶端都需要花費大量代碼來解析XML，導致服務(wù)器端和客戶端代碼變得異常復雜且不易維護，客戶端不同瀏覽器之間解析XML的方式不一致，需要重復編寫很多代碼，服務(wù)器端和客戶端解析XML花費較多的資源和時間；JSON在命名空間允許不同上下文中的相同的信息段彼此混合，因此JSON中已經(jīng)找不到了命名空間；YAML的兼容性不好。

因此，有必要設(shè)計一種基于Protocol Buffer的海量數(shù)據(jù)處理方法，實現(xiàn)高效處理海量數(shù)據(jù)，且文件格式簡單，文件小，無需使用大量代碼解析，服務(wù)器端與客戶端的代碼易于維護且兼容性好。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺陷，提供海量數(shù)據(jù)處理方法及其系統(tǒng)。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：海量數(shù)據(jù)處理方法，所述方法包括：

配置Protocol Buffer運行環(huán)境；

獲取海量數(shù)據(jù)，構(gòu)建Protocol Buffer消息對象的模型；

將所述模型應(yīng)用至具體平臺，獲取海量數(shù)據(jù)處理結(jié)果。

其進一步技術(shù)方案為：配置Protocol Buffer運行環(huán)境的步驟，包括以下具體步驟：

下載Protocol Buffer；

安裝HOMEBREW；

安裝Protocol Buffer。

其進一步技術(shù)方案為：獲取海量數(shù)據(jù)，構(gòu)建Protocol Buffer消息對象的模型的步驟，包括以下具體步驟：

獲取海量數(shù)據(jù)內(nèi)需要存儲的數(shù)據(jù)；

根據(jù)Protocol Buffer的語法描述需要存儲的數(shù)據(jù)，形成特殊格式的文件；

獲取Protocol Buffer的編譯器，編譯特殊格式的文件，形成代碼文件，由代碼文件形成Protocol Buffer消息對象的模型。

其進一步技術(shù)方案為：獲取Protocol Buffer的編譯器，編譯特殊格式的文件，形成代碼文件，由代碼文件形成Protocol Buffer消息對象的模型的步驟，包括以下具體步驟：

獲取main函數(shù)；

根據(jù)main函數(shù)生成Command Line Interface對象；

將新語言的后端代碼生成器內(nèi)的對象注冊給Command Line Interface對象，形成編譯器；

調(diào)用編譯器對特殊格式的文件進行分析，獲取語法樹；

遍歷語法樹，生成對應(yīng)的代碼，形成代碼文件，由代碼文件形成Protocol Buffer消息對象的模型。

其進一步技術(shù)方案為：將所述模型應(yīng)用至具體平臺，獲取海量數(shù)據(jù)處理結(jié)果的步驟，包括以下具體步驟：