[發明專利]大數據加載系統和方法

在審

• 申請號: 201310359675.0
• 申請日: 2013-08-16
• 公開（公告）號: CN103440290A
• 公開（公告）日: 2013-12-11
• 發明（設計）人: 狄靜舒;王穎;宋懷明;苗艷超;劉新春;邵宗有
• 申請（專利權）人: 曙光信息產業股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京新知遠方知識產權代理事務所(普通合伙) 11397
• 代理人: 張艷

技術領域

本發明涉及數據存儲領域，具體涉及一種大數據加載系統和方法。

背景技術

隨著云計算、物聯網、社交網絡、移動互聯的快速發展，數據量以前所未有的速度增長，并且更加集中，而且這種趨勢將持續下去。數據正在迅速膨脹并變大，數據規模越大，處理的難度也越大，但對其進行挖掘可能得到的價值也越大，人們正在越來越深地意識到數據的重要性。

然而，海量數據的危機并不單純是數據量的爆炸性增長，它還涉及到數據類型的改變。以往的數據基本都可以用二維表結構表示并存儲在數據庫中，也就是結構化數據，但是現在越來越多的互聯網多媒體等應用的出現，使得諸如圖片、音視頻等非結構化數據占到了越來越大的比重，甚至增長速度遠遠超過了結構化數據。這些非結構化數據往往蘊含著更大量的信息，如何將這些數據轉化為可用的結構化數據信息，以便于進行數據分析和預測，則成為越來越迫切的需求。

現階段，結構化數據的存儲分析通過數據庫實現，如oracle，pos?tgresql，mysql等等，非結構化數據的存儲分析通過Hadoop平臺和MapReduce編程模型實現。數據庫在結構化數據的高速加載和實時查詢方面提供了良好的支持，Hadoop的文件系統HDFS滿足了非結構化數據分析處理的底層支持。但是數據庫或者Hadoop及相關組件只能單一地實現結構化或非結構化的數據處理，并沒有實現結構化和非結構化數據的有效結合。如南大通用的gbase數據庫，只支持結構化數據處理的功能。Facebook提出的Hive，支持對非結構化數據處理的功能，但在對數據處理的實時性上效果并不理想。EMC等相關廠商也發布了結構化數據和非結構化數據的統一處理平臺，如Greenplum并行數據庫，Teradata，Vertica等，但是目前在對非結構化數據的處理方面并沒有滿足高可擴展性和容錯性的需求。

現階段針對移動互聯網應用海量數據復雜的處理需求，比如復雜的關聯分析，不同類型數據的處理(包括結構化數據、文本數據、和音視頻數據等)，甚至不同類型數據的聯合分析和檢索等，決定了很多應用需求并非能夠通過現有技術(數據庫的結構化數據處理或是其他平臺的非結構化數據處理)滿足，這些應用需要實現對不同類型數據的統一處理。

現有技術，無論是各種數據庫或是Hadoop及其各種組件均是只支持單一類型的數據分析，或是結構化數據的分析處理或是非結構化數據的分析處理。雖然有些廠商對并行數據庫融合了Hadoop平臺對于非結構化數據的支持，仍然不能有效地支持結構化數據和非結構化數據的結合。因為現有的各種數據庫，在設計上均是采用二維表的結構表示和處理數據，不能支持某些非結構化數據的存儲及分析。對于某些能夠通過數據庫存儲分析的非結構化數據來說，雖然對結構化數據的實時查詢支持效果很好，但由于非結構化數據文件較大，利用數據庫分析處理會在很大程度上降低數據庫的性能。而Hadoop及其相關組件以及其他非結構化數據處理平臺雖然支持非結構化數據的存儲管理，但是在對數據本身價值的利用并不完全，且在數據分析的實時性方面效果一般。有效地將結構化數據和非結構化數據統一存儲管理，并進行數據的分析處理是當前迫切需要解決的問題。

綜上所述，現有技術存在的主要問題在于，大數據加載平臺不能同時支持結構化數據和非結構化數據的處理，并且保證數據分析的實時性。

發明內容

為了解決上述問題，本發明提供了一種大數據加載系統，其包括：

客戶端，用于接收用戶數據；

數據存儲系統，用于存儲所述用戶數據；

元數據庫，用于存儲所述用戶數據的管理信息，其中所述管理信息包括數據結構、數據屬性和數據存儲位置；

其特征在于

還包括加載服務器，其與客戶端建立連接以從客戶端接收用戶數據，并根據數據存儲系統的狀態信息和元數據庫的管理信息，將所述用戶數據加載至所述數據存儲系統。

在另一方面，本發明還提供了一種大數據加載方法，其特征在于包括步驟：

客戶端接收用戶數據；

加載服務器從客戶端接收用戶數據，并根據數據存儲系統的狀態信息和元數據庫的管理信息，將所述用戶數據加載至所述數據存儲系統；

其中所述元數據庫存儲所述用戶數據的管理信息，所述管理信息包括數據結構、數據屬性和數據存儲位置。