[發明專利]海量數據融合存儲方法及系統

在審

• 申請號: 201310669985.2
• 申請日: 2013-12-10
• 公開（公告）號: CN104699720A
• 公開（公告）日: 2015-06-10
• 發明（設計）人: 汪峰來;朱科支;楊慶平;陳福忠
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 余剛;梁麗超

技術領域

本發明涉及通信領域，具體而言，涉及一種海量數據融合存儲方法及系統。

背景技術

隨著互聯網的快速發展，每天會產生海量的數據。美國互聯網數據中心指出，互聯網上的數據每年將增長50%，每兩年便翻一番，而目前世界上90%以上的數據是最近幾年才產生的。如何高效處理這些海量的數據，是近幾年的一個熱點。

在現有的海量數據處理系統中，有處理關系型數據支持類SQL（Structured?Query?Language，結構化查詢語言）的結構化存儲引擎，有處理非關系型數據的NoSQL（Not?Only?SQL，非結構化查詢語言）存儲引擎。其中，結構化存儲引擎主要完成海量數據的結構化數據定義、加載、存儲、查詢及分析等功能，提供類似于傳統關系型數據庫通過SQL語言進行數據查詢、統計、分組及排序等操作；NoSQL存儲引擎提供高可靠性、高性能、面向列、可伸縮的分布式鍵值（KEY-VALUE）數據庫系統，包括對表、列族、索引的創建管理，對數據的創建、存儲、更新、刪除、查詢和智能掃描，可在大規模集群中實現負載均衡。

結構化存儲引擎、NoSQL存儲引擎在數據物理存儲上相互獨立，并且有各自不同的應用場景。對于同樣的數據，根據業務的需要，可能既需要通過SQL進行海量數據查詢、統計、分組及排序等操作，又需要通過鍵值方式進行高效地查詢和智能掃描，這在現有的海量數據處理系統中是難以實現的。可見，現在的海量數據處理系統主要存在以下問題：（1）結構化存儲引擎、NoSQL存儲引擎在數據物理存儲上相互獨立，同一份數據難以同時支持SQL和鍵值兩種使用方式，不能滿足靈活多樣的業務需要；（2）如果為了業務需要，結構化存儲引擎存儲一份數據支持SQL，NoSQL存儲引擎也存儲一份同樣的數據支持鍵值，這對于海量數據系統來說，存在著大量的數據冗余，同時維護兩份數據也會增加運營維護上的成本。

針對相關技術中結構化存儲引擎和NoSQL存儲引擎不能滿足靈活多樣的業務需要以及增加運營維護成本較高的問題，目前尚未提出有效的解決方案。

發明內容

本發明提供了一種海量數據融合存儲方法及系統，以至少解決上述問題。

根據本發明的一個方面，提供了一種海量數據融合存儲方法，包括：數據融合子系統接收結構化存儲引擎或NoSQL存儲引擎發送的寫操作請求，其中，結構化存儲引擎支持SQL的結構化數據讀寫操作，NoSQL存儲引擎支持鍵值的NoSQL數據讀寫操作；數據融合子系統根據寫操作請求對分布式文件子系統進行寫操作，其中，分布式文件子系統還用于接收結構化存儲引擎或NoSQL存儲引擎發送的讀操作請求，并根據讀操起請求執行讀操作。

優選地，在數據融合子系統接收結構化存儲引擎或NoSQL存儲引擎發送的寫操作請求之前，包括：數據融合子系統建立結構化存儲引擎和NoSQL存儲引擎在元數據定義上的映射關系，映射關系用于使結構化存儲引擎和NoSQL存儲引擎之間保持數據一致性。

優選地，當數據融合子系統接收到結構化存儲引擎發送的寫操作請求時，數據融合子系統根據寫操作請求對分布式文件子系統進行寫操作，包括：數據融合子系統判斷結構化存儲引擎與NoSQL存儲引擎之間是否已經存在映射關系，在判斷結果為是、且不存在同時寫的情況下，將寫操作請求發送給分布式文件子系統執行寫數據操作，在判斷結果為否的情況下，在NoSQL存儲引擎上建立映射關系。

優選地，當數據融合子系統接收到NoSQL存儲引擎發送的寫操作請求時，數據融合子系統根據寫操作請求對分布式文件子系統進行寫操作，包括：數據融合子系統判斷結構化存儲引擎與NoSQL存儲引擎之間是否已經存在映射關系，在判斷結果為是、且不存在同時寫的情況下，將寫操作請求發送給分布式文件子系統執行寫數據操作，在判斷結果為否的情況下，在結構化存儲引擎上建立映射關系。

優選地，在數據融合子系統根據寫操作請求對分布式文件子系統進行寫操作之后，還包括：數據融合子系統接收分布式文件子系統反饋的寫操作結果。

根據本發明的另一方面，提供了一種海量數據融合存儲系統，包括：數據融合子系統、結構化存儲引擎、NoSQL存儲引擎以及分布式文件子系統，其中，數據融合子系統包括：第一接收模塊，用于接收結構化存儲引擎或NoSQL存儲引擎發送的寫操作請求，其中，結構化存儲引擎支持SQL的結構化數據讀寫操作，NoSQL存儲引擎支持鍵值的NoSQL數據讀寫操作；處理模塊，用于根據寫操作請求對分布式文件子系統進行寫操作；分布式文件子系統，還用于接收結構化存儲引擎或NoSQL存儲引擎發送的讀操作請求，并根據讀操起請求執行讀操作。