[發(fā)明專利]一種基于分布式存儲的數(shù)據(jù)恢復(fù)方法及裝置

有效

• 申請?zhí)枺?/td>: 201410601850.7
• 申請日: 2014-10-31
• 公開（公告）號: CN104360915B
• 公開（公告）日: 2017-08-01
• 發(fā)明（設(shè)計(jì)）人: 杜旭苗
• 申請（專利權(quán)）人: 北京思特奇信息技術(shù)股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司11212
• 代理人: 楊立

1.一種基于分布式存儲的數(shù)據(jù)恢復(fù)方法，其特征在于，包括：

步驟S101、分布式調(diào)度系統(tǒng)分批向若干數(shù)據(jù)存儲客戶端分發(fā)待存儲數(shù)據(jù)，并監(jiān)測各數(shù)據(jù)存儲客戶端的異常狀態(tài)；

步驟S102、在監(jiān)測到數(shù)據(jù)存儲客戶端處于異常狀態(tài)的情況下，查找處于正常狀態(tài)的數(shù)據(jù)存儲客戶端；

步驟S103、查詢處于異常狀態(tài)的存儲客戶端處理的上一批次待存儲數(shù)據(jù)的數(shù)據(jù)標(biāo)識；

步驟S104、將上一批次后的待存儲數(shù)據(jù)重新分發(fā)給處于正常狀態(tài)的數(shù)據(jù)存儲客戶端；

其中，當(dāng)所述數(shù)據(jù)存儲客戶端將分布式調(diào)度系統(tǒng)分批分發(fā)的待存儲數(shù)據(jù)成功提交給Hbase數(shù)據(jù)庫時，在Hbase數(shù)據(jù)庫中寫入斷點(diǎn)信息，所述斷點(diǎn)信息包括：該批次的數(shù)據(jù)提交Hbase數(shù)據(jù)庫提交成功的信息、提交數(shù)據(jù)的存儲客戶端的標(biāo)識以及該批次數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

2.如權(quán)利要求1所述的數(shù)據(jù)恢復(fù)方法，其特征在于，所述步驟S103具體包括：

在Hbase數(shù)據(jù)庫中查找處于異常狀態(tài)的數(shù)據(jù)存儲客戶端的斷點(diǎn)信息，獲取該數(shù)據(jù)客戶端處理的上一批次待存儲數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

3.如權(quán)利要求2所述的數(shù)據(jù)恢復(fù)方法，其特征在于，預(yù)先設(shè)置Hbase數(shù)據(jù)庫的版本數(shù)為1。

4.如權(quán)利要求1或2所述的數(shù)據(jù)恢復(fù)方法，其特征在于，所述待存儲數(shù)據(jù)中的每條數(shù)據(jù)記錄具有數(shù)據(jù)記錄唯一標(biāo)識，所述數(shù)據(jù)記錄唯一標(biāo)識為該數(shù)據(jù)記錄關(guān)鍵詞與MD5碼的組合。

5.一種基于分布式存儲的數(shù)據(jù)恢復(fù)裝置，其特征在于，包括：

第一數(shù)據(jù)分發(fā)模塊，用于調(diào)用分布式調(diào)度系統(tǒng)分批向若干數(shù)據(jù)存儲客戶端分發(fā)待存儲數(shù)據(jù)，并監(jiān)測各數(shù)據(jù)存儲客戶端的異常狀態(tài)；

查找模塊，用于在監(jiān)測到數(shù)據(jù)存儲客戶端處于異常狀態(tài)的情況下，查找處于正常狀態(tài)的數(shù)據(jù)存儲客戶端；

數(shù)據(jù)標(biāo)識查詢模塊，用于查詢處于異常狀態(tài)的存儲客戶端處理的上一批次待存儲數(shù)據(jù)的數(shù)據(jù)標(biāo)識；

第二數(shù)據(jù)分發(fā)模塊，用于將上一批次后的待存儲數(shù)據(jù)重新分發(fā)給處于正常狀態(tài)的數(shù)據(jù)存儲客戶端；

斷點(diǎn)信息寫入模塊，用于當(dāng)所述數(shù)據(jù)存儲客戶端將分布式調(diào)度系統(tǒng)分批分發(fā)的待存儲數(shù)據(jù)成功提交給Hbase數(shù)據(jù)庫時，在Hbase數(shù)據(jù)庫中寫入斷點(diǎn)信息，所述斷點(diǎn)信息包括：該批次的數(shù)據(jù)提交Hbase數(shù)據(jù)庫提交成功的信息、提交數(shù)據(jù)的存儲客戶端的標(biāo)識以及該批次數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

6.如權(quán)利要求5所述的數(shù)據(jù)恢復(fù)裝置，其特征在于，

所述數(shù)據(jù)標(biāo)識查詢模塊，用于查詢處于異常狀態(tài)的數(shù)據(jù)存儲客戶端處理的上一批次待存儲數(shù)據(jù)的數(shù)據(jù)標(biāo)識具體包括：

在Hbase數(shù)據(jù)庫中查找處于異常狀態(tài)的數(shù)據(jù)存儲客戶端的斷點(diǎn)信息，獲取該數(shù)據(jù)客戶端處理的上一批次待存儲數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

7.如權(quán)利要求6所述的數(shù)據(jù)恢復(fù)裝置，其特征在于，預(yù)先設(shè)置Hbase數(shù)據(jù)庫的版本數(shù)為1。

8.如權(quán)利要求5或6所述的數(shù)據(jù)恢復(fù)裝置，其特征在于，所述待存儲數(shù)據(jù)中的每條數(shù)據(jù)記錄具有數(shù)據(jù)記錄唯一標(biāo)識，所述數(shù)據(jù)記錄唯一標(biāo)識為該數(shù)據(jù)記錄關(guān)鍵詞與MD5碼的組合。