[發(fā)明專利]一種大數(shù)據(jù)的高效處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201410540392.0
• 申請日: 2014-10-14
• 公開（公告）號: CN104331421A
• 公開（公告）日: 2015-02-04
• 發(fā)明（設計）人: 王佐成;任子暉;馬韻潔;張凱
• 申請（專利權）人: 安徽四創(chuàng)電子股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 合肥金安專利事務所 34114
• 代理人: 吳娜

技術領域

本發(fā)明涉及計算機大數(shù)據(jù)應用處理技術領域，尤其是一種大數(shù)據(jù)的高效處理方法及系統(tǒng)。

背景技術

隨著平安城市、智慧城市等大型項目在各地的廣泛開展，數(shù)據(jù)集聚、數(shù)據(jù)融合進一步發(fā)展，需要處理的數(shù)據(jù)量達到了TB?級、PB級，大數(shù)據(jù)量的處理產(chǎn)生了一系列現(xiàn)實問題，原先關系型數(shù)據(jù)庫在面對如此大的數(shù)據(jù)量時，其技術架構(gòu)、處理能力、處理方式等越來越無法滿足用戶需求。

云計算、大數(shù)據(jù)技術的發(fā)展給海量數(shù)據(jù)的處理提供了很好的解決途徑，Hadoop框架體系更是運用并行計算（MapReduce）、分布式存儲（HDFS）的方式實現(xiàn)了大數(shù)據(jù)量的存儲和計算。但是，由于分布式存儲（HDFS）不支持結(jié)構(gòu)化查詢語句（SQL）直接進行處理，分布式存儲（HDFS）的數(shù)據(jù)很難直接被進行處理，且計算任務最終都需轉(zhuǎn)化成并行計算MapReduce框架來執(zhí)行，其管理節(jié)點（Jobtracker）任務重、效率低、易導致單點故障。如何快速、便捷的對海量數(shù)據(jù)進行處理，如何在提高任務處理效率的同時，增加系統(tǒng)的可用性成為亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明的首要目的在于提供一種在大數(shù)據(jù)的存儲、檢索、計算過程中實現(xiàn)大數(shù)據(jù)快速、高效處理的大數(shù)據(jù)的高效處理方法。

為實現(xiàn)上述目的，本發(fā)明采用了以下技術方案：一種大數(shù)據(jù)的高效處理方法，該方法包括下列順序的步驟：

（1）數(shù)據(jù)節(jié)點接收待存儲的數(shù)據(jù)；

（2）數(shù)據(jù)節(jié)點對數(shù)據(jù)進行存儲，同時，根據(jù)業(yè)務場景創(chuàng)建索引并保存在內(nèi)存中，并通過索引固化逐步保存在磁盤中；

（3）用戶輸入任務請求，SQL引擎根據(jù)創(chuàng)建的索引實現(xiàn)數(shù)據(jù)快速檢索，并向計算節(jié)點輸出數(shù)據(jù)；

（4）管理節(jié)點的任務處理模塊執(zhí)行任務調(diào)度，并向資源管理模塊申請資源，確定空閑的計算節(jié)點，并由該計算節(jié)點對數(shù)據(jù)進行處理；（5）將最終的處理數(shù)據(jù)呈現(xiàn)給用戶。

所述數(shù)據(jù)節(jié)點接收的數(shù)據(jù)類型包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

在進行數(shù)據(jù)存儲和索引創(chuàng)建時，首先，根據(jù)業(yè)務場景創(chuàng)建索引規(guī)則，接著對接收的數(shù)據(jù)進行存儲，存儲在硬盤內(nèi)，同時，在分布式文件系統(tǒng)的基礎上運用blur+lencense組件構(gòu)建索引，索引面向業(yè)務應用場景建立，按照索引數(shù)據(jù)形成在后、使用程度較高的條件選取并存儲在內(nèi)存存儲模塊內(nèi)。

在進行檢索時，由用戶提交查詢請求，控制模塊對輸入的查詢請求信息進行分析，控制模塊采用SQL引擎首先對查詢條件進行自動語義識別，首先從內(nèi)存存儲模塊內(nèi)存儲的索引中對目標進行查找，通過查找到的索引去磁盤中獲得原始數(shù)據(jù)，并將數(shù)據(jù)返回、呈現(xiàn)給用戶；如果查找不到，再到磁盤索引存儲區(qū)進行查找。

所述任務處理模塊將根據(jù)任務的優(yōu)先級、難易程度情況向資源管理模塊申請資源，資源管理模塊依據(jù)調(diào)度算法給出具體的任務處理資源，返回給任務處理模塊，任務處理模塊對相應的計算節(jié)點下發(fā)任務。

所述的索引先存儲在內(nèi)存存儲模塊內(nèi)，通過內(nèi)存工作機制將超過內(nèi)存存儲容量的索引文件固化到磁盤中進行保存，以分布式文件的形式進行多副本存儲，索引文件存入磁盤工作機制以內(nèi)存存儲區(qū)大小、索引形成先后順序和索引文件使用程度參數(shù)為依據(jù)進行固化，將最先形成、使用程度最低的索引先固化到磁盤，固化到磁盤的索引文件是分布式存儲的。

本發(fā)明的另一目的在于提供一種大數(shù)據(jù)的高效處理系統(tǒng)，包括：

存儲及索引創(chuàng)建模塊，數(shù)據(jù)節(jié)點對接收到的數(shù)據(jù)進行存儲，同時，根據(jù)業(yè)務場景創(chuàng)建索引，首先將索引文件保存在內(nèi)存存儲模塊中，再逐步保存在磁盤中；

檢索模塊，SQL引擎根據(jù)創(chuàng)建的索引，實現(xiàn)數(shù)據(jù)快速檢索，并向計算節(jié)點輸出數(shù)據(jù)；

處理模塊，執(zhí)行任務的調(diào)度，申請資源，對資源進行管理，并同時負責任務的切分、處理、歸并、失敗任務重啟的功能，最終完成任務的執(zhí)行。

所述處理模塊包括：

資源管理模塊，實現(xiàn)對計算模塊資源的管理，通過計算節(jié)點客戶端，適時感知計算節(jié)點的資源使用情況，隨時準備動態(tài)為任務分配資源；

任務處理模塊，接收任務，根據(jù)任務的優(yōu)先級、難易程度情況向資源管理模塊申請資源，資源管理模塊依據(jù)調(diào)度算法給出具體的任務處理資源，返回給任務處理模塊，任務處理模塊負責將任務傳遞給給定的計算模塊，并同時負責任務的切分、處理、歸并、失敗任務重啟的功能，最終完成任務的執(zhí)行；

計算模塊，具體執(zhí)行任務的物理或者虛擬資源節(jié)點。