[發(fā)明專利]一種海量信息存儲系統(tǒng)及實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201110436335.4
• 申請日: 2011-12-22
• 公開（公告）號: CN102567495A
• 公開（公告）日: 2012-07-11
• 發(fā)明（設(shè)計）人: 吳甜;王晶華;劉越;虎嵩林
• 申請（專利權(quán)）人: 國網(wǎng)信息通信有限公司;中國科學院計算技術(shù)研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 逯長明;王寶筠

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，特別涉及一種海量信息存儲系統(tǒng)及實現(xiàn)方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展和廣泛應用，互聯(lián)網(wǎng)的用戶數(shù)量和數(shù)據(jù)量都呈現(xiàn)出爆發(fā)式的增長。各種類型的應用層出不窮，傳統(tǒng)關(guān)系型數(shù)據(jù)庫在高并發(fā)訪問、海量數(shù)據(jù)處理和大規(guī)模部署等方面表現(xiàn)出一定的局限性。

在智能電網(wǎng)所涉及的應用場景中，定時采集的數(shù)據(jù)量非常大，不同關(guān)系型數(shù)據(jù)庫的吞吐難以達到要求。

NOSQL數(shù)據(jù)庫是伴隨著云計算技術(shù)的蓬勃發(fā)展而產(chǎn)生的，具有低延遲的讀寫速度、支持海量數(shù)據(jù)、大規(guī)模集群部署和良好的擴展性等特點，為負責大規(guī)模數(shù)據(jù)處理的系統(tǒng)提供了新的選擇。可以達到智能電網(wǎng)中對于數(shù)據(jù)庫吞吐量的要求。

NOSQL領(lǐng)域流行的一致性哈希存儲結(jié)構(gòu)(DHT存儲結(jié)構(gòu))，是NOSQL實現(xiàn)大吞吐量的關(guān)鍵內(nèi)容。一致性哈希存儲結(jié)構(gòu)提供了一種動態(tài)進行分布式存儲和路由的方法。如圖1所示，一個哈希函數(shù)的輸出范圍被視為一個固定的環(huán)形空間，系統(tǒng)中每一個服務(wù)器節(jié)點都被分配到了空間中一個隨機的值，代表服務(wù)器節(jié)點在環(huán)上的位置，如圖1中所示的節(jié)點。這種數(shù)據(jù)分布方式為系統(tǒng)提供了良好的擴展性，加入或移除服務(wù)器節(jié)點時也只能有少量的數(shù)據(jù)需要重新分配。為保證系統(tǒng)具有良好的可用性，系統(tǒng)一般會設(shè)置副本。

NOSQL中比較流行的是數(shù)據(jù)庫為HBase，HBase數(shù)據(jù)庫是利用分布式文件存儲系統(tǒng)HDFS(Hadoop?Distributed?File?System)提供分布式存儲，而且可以通過數(shù)據(jù)分析工具Hive，利用一種類SQL語言來提供數(shù)據(jù)查詢和分析能力。但是這種查詢和分析需要轉(zhuǎn)化為MapReduce程序來運行，速度比較慢，難以提供在線復雜查詢功能。

另外在本領(lǐng)域中，MySQL數(shù)據(jù)庫也是一種十分常用的關(guān)系型數(shù)據(jù)庫，MySQL數(shù)據(jù)庫雖然可以實現(xiàn)復雜查詢功能，但是缺陷在于單獨的MySQL數(shù)據(jù)庫讀寫性能有限，很難承受電網(wǎng)應用場景中定時涌來的海量數(shù)據(jù)，吞吐量難以達到要求，如果數(shù)據(jù)不能在一定的時間內(nèi)持久化，則可能會有被下一波數(shù)據(jù)覆蓋的危險，造成數(shù)據(jù)丟失，也很難處理大量的訪問和查詢的請求。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的是提供一種海量信息存儲系統(tǒng)及實現(xiàn)方法。本發(fā)明所述海量信息存儲系統(tǒng)實現(xiàn)了支持高通量存儲和復雜查詢兩項功能。

本發(fā)明具體技術(shù)方案如下：

一種海量信息存儲系統(tǒng)，所述系統(tǒng)包括存儲系統(tǒng)、元數(shù)據(jù)服務(wù)器、協(xié)調(diào)器和數(shù)據(jù)分布和平衡模塊；

存儲系統(tǒng)，連接協(xié)調(diào)器、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)分布和平衡模塊，存儲系統(tǒng)由多個服務(wù)器節(jié)點構(gòu)成，所有的服務(wù)器節(jié)點按照一致性哈希算法進行組織，存儲系統(tǒng)用于提供數(shù)據(jù)存儲功能；

元數(shù)據(jù)服務(wù)器，一端連接協(xié)調(diào)器，一端連接存儲系統(tǒng)，元數(shù)據(jù)服務(wù)器用于接受并保存來自存儲系統(tǒng)元數(shù)據(jù)，所述元數(shù)據(jù)為存儲系統(tǒng)中所儲存數(shù)據(jù)的層次結(jié)構(gòu)和位置信息，在查詢過程中元數(shù)據(jù)服務(wù)器向協(xié)調(diào)器提供存儲系統(tǒng)中儲存數(shù)據(jù)的層次結(jié)構(gòu)和位置信息；

協(xié)調(diào)器，連接存儲系統(tǒng)、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)分布和平衡模塊，用于接收客戶端需要寫入存儲系統(tǒng)的數(shù)據(jù)，將接收到的數(shù)據(jù)組織成關(guān)鍵值形式，發(fā)送到數(shù)據(jù)分布和平衡模塊，協(xié)調(diào)器還用于接收客戶端的查詢指令，在查詢時讀取元數(shù)據(jù)服務(wù)器中的需查詢數(shù)據(jù)的層次機構(gòu)和位置信息，利用需查詢數(shù)據(jù)的層次結(jié)構(gòu)和位置信息找到需查詢數(shù)據(jù)所在的服務(wù)器節(jié)點，協(xié)調(diào)器將查詢指令發(fā)送到存儲系統(tǒng)中的服務(wù)器節(jié)點上，指示服務(wù)器節(jié)點執(zhí)行查詢操作，并接收查詢結(jié)果返回給客戶端；

數(shù)據(jù)分布和平衡模塊，與存儲系統(tǒng)相連接，用于在寫入過程中接收協(xié)調(diào)器組織成關(guān)鍵值形式的數(shù)據(jù)，運用一致性哈希算法將數(shù)據(jù)分配到存儲系統(tǒng)各服務(wù)器節(jié)點上。

所述構(gòu)成存儲系統(tǒng)的服務(wù)器節(jié)點具體包括：版本控制模塊，內(nèi)存存儲管理模塊、數(shù)據(jù)同步模塊和智能數(shù)據(jù)庫；

版本控制模塊，連接到數(shù)據(jù)分布和平衡模塊，用于接收數(shù)據(jù)分布和平衡模塊分配而來的組織成關(guān)鍵值形式的數(shù)據(jù)，給接收的數(shù)據(jù)加上時間戳，以區(qū)分數(shù)據(jù)的版本信息；將加上時間戳的數(shù)據(jù)發(fā)送到內(nèi)存存儲管理模塊；

內(nèi)存存儲管理模塊，連接版本控制模塊，用于負責暫時存儲版本控制模塊進行版本區(qū)分后的數(shù)據(jù)，并維持的數(shù)據(jù)的關(guān)鍵值結(jié)構(gòu)；

數(shù)據(jù)同步模塊，連接內(nèi)存存儲管理模塊、智能數(shù)據(jù)庫，并接收協(xié)調(diào)器的同步命令，用于解析內(nèi)存存儲管理模塊中存儲的關(guān)鍵值形式的數(shù)據(jù)，組織成智能數(shù)據(jù)庫能夠識別的結(jié)構(gòu)寫入智能數(shù)據(jù)庫；

智能數(shù)據(jù)庫，連接數(shù)據(jù)同步模塊，用于提供持久化存儲功能和查詢功能。