[發明專利]一種海量信息存儲系統及實現方法

有效

• 申請號: 201110436335.4
• 申請日: 2011-12-22
• 公開（公告）號: CN102567495A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 吳甜;王晶華;劉越;虎嵩林
• 申請（專利權）人: 國網信息通信有限公司;中國科學院計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 逯長明;王寶筠

1.一種海量信息存儲系統，其特征在于：所述系統包括存儲系統、元數據服務器、協調器和數據分布和平衡模塊；

存儲系統，連接協調器、元數據服務器和數據分布和平衡模塊，存儲系統由多個服務器節點構成，所有的服務器節點按照一致性哈希算法進行組織，存儲系統用于提供數據存儲功能；

元數據服務器，一端連接協調器，一端連接存儲系統，元數據服務器用于接受并保存來自存儲系統元數據，所述元數據為存儲系統中所儲存數據的層次結構和位置信息，在查詢過程中元數據服務器向協調器提供存儲系統中儲存數據的層次結構和位置信息；

協調器，連接存儲系統、元數據服務器和數據分布和平衡模塊，用于接收客戶端需要寫入存儲系統的數據，將接收到的數據組織成關鍵值形式，發送到數據分布和平衡模塊，協調器還用于接收客戶端的查詢指令，在查詢時讀取元數據服務器中的需查詢數據的層次機構和位置信息，利用需查詢數據的層次結構和位置信息找到需查詢數據所在的服務器節點，協調器將查詢指令發送到存儲系統中的服務器節點上，指示服務器節點執行查詢操作，并接收查詢結果返回給客戶端；

數據分布和平衡模塊，與存儲系統相連接，用于在寫入過程中接收協調器組織成關鍵值形式的數據，運用一致性哈希算法將數據分配到存儲系統各服務器節點上。

2.根據權利要求1所述系統，其特征在于，所述構成存儲系統的服務器節點具體包括：版本控制模塊，內存存儲管理模塊、數據同步模塊和智能數據庫；

版本控制模塊，連接到數據分布和平衡模塊，用于接收數據分布和平衡模塊分配而來的組織成關鍵值形式的數據，給接收的數據加上時間戳，以區分數據的版本信息；將加上時間戳的數據發送到內存存儲管理模塊；

內存存儲管理模塊，連接版本控制模塊，用于負責暫時存儲版本控制模塊進行版本區分后的數據，并維持的數據的關鍵值結構；

數據同步模塊，連接內存存儲管理模塊、智能數據庫，并接收協調器的同步命令，用于解析內存存儲管理模塊中存儲的關鍵值形式的數據，組織成智能數據庫能夠識別的結構寫入智能數據庫；

智能數據庫，連接數據同步模塊，用于提供持久化存儲功能和查詢功能。

3.根據權利要求2所述系統，其特征在于：

所述數據同步模塊進一步連接元數據服務器，數據同步模塊在將數據寫入到智能數據庫的同時，獲取寫入數據的層次結構和位置信息，并將獲取的數據的層次結構和位置信息發送給元數據服務器。

4.根據權利要求3所述系統，其特征在于：

所述元數據服務器還用于，接收數據同步模塊發送的數據的層次結構和位置信息，并對自身以保存的信息進行同步更新。

5.根據權利要求1所述系統，其特征在于：

所述數據分布和平衡模塊包括接收模塊和分配模塊，

接收模塊用于接收來自協調器的組織成關鍵值形式的數據，

分配模塊用于根據預先設定數據需要保存的副本數量，將待寫入的數據寫入多個服務器節點，寫入服務器節點的數量與副本數量相等。

6.根據權利要求1所述系統，其特征在于：

所述協調器中進一步包括數據查詢接口，連接元數據服務器和智能數據庫，用于接收協調器的查詢指令，并連接元數據服務器，找到所查詢數據的層次結構和位置信息，根據所查詢數據的層次結構和位置信息找到所查詢數據所在的服務器節點，再將查詢命令發送到所查詢數據所在的服務器節點，數據查詢接口調用服務器節點上智能數據庫中的查詢計算函數，使服務器節點運用查詢計算函數完成查詢操作，數據查詢接口再接收各個進行查詢操作的服務器節點上得到的查詢結果，并將所有查詢結果返回協調器。

7.一種海量信息存儲系統的實現方法，其特征在于：

所述實現方法包括寫入方法，具體步驟為，

A1、接收客戶端傳來的數據，將數據組織成關鍵值的形式；

B1、組織后的數據根據一致性哈希算法選擇多個服務器節點進行數據寫入；

所述實現方法還包括查詢方法，具體步驟為，

A2、接收查詢指令，讀取需查詢數據的層次機構和位置信息，利用需查詢數據的層次結構和位置信息找到需查詢數據所在的服務器節點；

B2、查詢指令轉發到需查詢數據所在的服務器節點，并調用服務器節點上保存的查詢計算函數，利用查詢計算函數開始進行查詢操作；

C2、查詢數據所在的服務器節點執行查詢操作之后，返回查詢結果，并對返回的數據重組、去重再呈現給客戶端。