[發明專利]一種基于分布式存儲的數據恢復方法及裝置

有效

• 申請號: 201410601850.7
• 申請日: 2014-10-31
• 公開（公告）號: CN104360915B
• 公開（公告）日: 2017-08-01
• 發明（設計）人: 杜旭苗
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立

技術領域

本發明涉及數據存儲技術領域，具體涉及一種基于分布式存儲的數據恢復方法及裝置。

背景技術

分布式存儲技術就是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

為了保證分布式存儲系統數據的一致性和完整性，當存儲服務器出現異常時，需要采用一定的方法進行數據的恢復。目前，常用的方法是存儲服務器將內存中的數據備份到存儲介質，當存儲服務器從異常恢復，重新啟動時，存儲服務器從存儲介質中獲取備份的數據。

采用備份數據的方法實現數據的恢復，由于存儲服務器發生異常到恢復的過程需要一段時間，在這段時間內，存儲服務器無法提供服務，對服務需求會產生影響；另外，該方法實現數據的恢復需要額外增加存儲介質，增加的成本。

發明內容

本發明所要解決的技術問題是提供一種基于分布式存儲的數據恢復方法及裝置，能夠實現分布式存儲的數據恢復。

依據本發明的一個方面，提供了一種基于分布式存儲的數據恢復方法，包括：

分布式調度系統分批向若干數據存儲客戶端分發待存儲數據，并監測各數據存儲客戶端的異常狀態；

在監測到數據存儲客戶端處于異常狀態的情況下，查找處于正常狀態的數據存儲客戶端；

查詢處于異常狀態的存儲客戶端處理的上一批次數據的數據標識；

將上一批次后的數據重新分發給處于正常狀態的數據存儲客戶端。

依據本發明的另一個方面，提供了一種基于分布式存儲的數據恢復裝置，包括：

第一數據分發模塊，用于調用分布式調度系統分批向若干數據存儲客戶端分發待存儲數據，并監測各數據存儲客戶端的異常狀態；

查找模塊，用于在監測到數據存儲客戶端處于異常狀態的情況下，查找處于正常狀態的數據存儲客戶端；

數據標識查詢模塊，用于查詢處于異常狀態的存儲客戶端處理的上一批次數據的數據標識；

第二數據分發模塊，用于將上一批次后的數據重新分發給處于正常狀態的數據存儲客戶端。

本發明提供的一種基于分布式存儲的數據恢復方法及裝置，通過獲取處于異常狀態的數據存儲客戶端寫入的斷點信息，通過斷點信息獲取異常數據存儲客戶端處理的上一批次的數據標識，然后將上一批次后的數據重新分發給處于正常狀態的數據存儲客戶端，對數據進行重新寫入，來實現分布式存儲過程中的客戶端寫入數據恢復，在不需要增加額外設備的基礎上，保障數據寫入的一致性和完整性。

附圖說明

圖1為本發明實施例一的一種基于分布式存儲的數據恢復方法流程圖；

圖2為本發明的數據寫入過程的總體架構圖；

圖3為本發明實施例一的一種基于分布式存儲的數據恢復方法的具體實例流程圖；

圖4為本發明實施例二的一種基于分布式存儲的數據恢復裝置示意圖。

具體實施方式

以下結合附圖對本發明的原理和特征進行描述，所舉實例只用于解釋本發明，并非用于限定本發明的范圍。

實施例一、一種基于分布式存儲的數據恢復方法。下面結合圖1-圖3對本發明提供的方法進行詳細說明。

圖1中，S101、分布式調度系統分批向若干數據存儲客戶端分發待存儲數據，并監測各數據存儲客戶端的異常狀態。

具體的，參見圖2，首先介紹一下分布式存儲時數據寫入的過程，分布式調度系統將大量數據分批發送給數據存儲客戶端，其中，數據存儲客戶端為多個，一個存儲客戶端可以作為一個存儲節點，分布式調度系統可以采取預定策略將大量的數據分發給不同的數據存儲客戶端，數據存儲客戶端接收到分布式調度系統分發的數據，對數據進行處理，比如說按照業務要求將數據進行分類處理，或者按照數據格式要求對數據進行處理，存儲客戶端將處理后的數據提交給數據庫，數據庫進行數據的處理后，將數據物化到HDFS(Hadoop Distributed File System,分布式文件系統)中，即將數據存儲于分布式文件系統中。