[發明專利]一種大數據的處理方法、系統

有效

• 申請號: 201410182903.6
• 申請日: 2014-04-30
• 公開（公告）號: CN103942330B
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 范小朋;沈慧;楊鑫;趙東輝;須成忠
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳中一專利商標事務所44237
• 代理人: 張全文

技術領域

本發明屬于信息處理技術領域，尤其涉及一種大數據的處理方法、系統。

背景技術

批處理和實時處理是目前大數據分析中對于數據處理的兩種基本方法。所謂批處理就是將作業按照它們的性質分組(或分批)，然后再成組(或成批)地提交給計算機系統，由計算機自動完成處理后再輸出結果，它的目的是為了提高系統吞吐量和資源的利用率。現在的批處理系統，如分布式文件系統、并行數據庫等都大大地提高了系統的資源利用率和作業吞吐量，不僅適用于存儲在內存中的小數據集，同時還能夠擴展到處理龐大的數據集。所謂實時處理是指實時數據通過接入層源源不斷地進入實時處理系統，在數據處理層根據相應的計算任務進行計算，然后將計算結果寫入到歸檔層，供下一個系統查詢或者使用。現在的實時處理系統如S4、Storm、Puma等都具有低延遲、支持實時不間斷處理等特性。基于這兩種方式獨立存在的開源系統不勝其數，不同的使用場景使得大數據處理分析逐漸地向兩個獨立地方向發展。

但是隨著數據量的大規模增長，不同的服務對數據的處理要求變得復雜多樣，我們在實踐中發現了如下的實際需求：在對海量數據進行批處理時，需要自動獲取其中某個特定的事件或者實體的實時狀態；同樣地，在對大數據進行實時處理時，需要自動查詢某個特定事件或者實體的歷史記錄。在這種情況下，人們真正想要的是批處理和實時處理的結合體，既滿足實時處理的需求，又獲取批處理深度挖掘后的數據價值。

然而，在常見的實現方案中，大數據的批處理系統和實時處理系統為兩個獨立的系統。若要結合使用，實時數據經過加工處理存儲到批處理系統的環節需要人工完成，人工建表和導入數據的過程不僅時間開銷巨大、效率低，而且人工成本也偏高。

發明內容

本發明實施例提供了一種大數據的處理方法、系統，旨在解決現有技術提供的大數據處理方法，不僅時間開銷巨大、效率低，而且人工成本也偏高的問題。

一方面，提供一種大數據的處理方法，所述方法包括：

實時處理系統解析預置的配置文件，獲取異構數據源的數據結構信息；

實時處理系統發送所述異構數據源的數據結構信息至批處理系統，所述批處理系統根據所述異構數據源的數據結構信息建立元數據表；

實時處理系統接收源數據流，對所述源數據流進行實時處理；

實時處理系統寫入實時處理結果至實時處理系統的數據庫中；

實時處理系統發送實時處理結果至批處理系統，以由批處理系統將所述實時處理結果存儲在元數據表中；

批處理系統接收批處理作業指令；

批處理系統根據所述批處理作業指令執行相應的批處理任務，并展示作業結果。

進一步地，所述批處理作業指令是實時處理系統推送至批處理系統的；或

所述批處理作業指令是客戶分配給批處理系統的。

進一步地，所述實時處理系統發送實時處理結果至批處理系統，由批處理系統將所述實時處理結果存儲在元數據表中包括：

實時處理系統設置定時器；

實時處理系統建立和批處理系統的套接字通信；

實時處理系統根據所述定時器設置的周期，周期性地將所述實時處理結果發送至批處理系統。

另一方面，提供一種實時處理系統，所述實時處理系統包括：

數據結構信息獲取單元，用于解析預置的配置文件，獲取異構數據源的數據結構信息；

數據結構信息發送單元，用于發送所述異構數據源的數據結構信息至批處理系統，以由所述批處理系統根據所述異構數據源的數據結構信息建立元數據表；

實時處理單元，用于接收源數據流，對所述源數據流進行實時處理；

第一實時結果存儲單元，用于寫入實時處理結果至實時處理系統的數據庫中；

實時結果發送單元，用于發送實時處理結果至批處理系統，以由批處理系統先將所述實時處理結果存儲在元數據表中，再根據接收到的批處理作業指令執行相應的批處理任務，并展示作業結果。

進一步地，所述實時處理系統還包括：

批處理作業指令推送單元，用于推送批處理作業指令至批處理系統。

進一步地，所述實時結果發送單元包括：

定時器設置模塊，用于設置定時器；

通信建立模塊，用于建立和批處理系統的套接字通信；

實時結果發送模塊，用于根據所述定時器設置的周期，周期性地發送所述實時處理結果至批處理系統。

又一方面，提供一種批處理系統，所述批處理系統包括：