[發(fā)明專利]一種數(shù)據(jù)存儲(chǔ)的故障恢復(fù)方法及其適用的數(shù)據(jù)分布架構(gòu)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110391197.2
• 申請(qǐng)日: 2011-11-30
• 公開（公告）號(hào): CN102523105A
• 公開（公告）日: 2012-06-27
• 發(fā)明（設(shè)計(jì)）人: 劉祥濤;岳強(qiáng);季統(tǒng)凱
• 申請(qǐng)（專利權(quán)）人: 廣東電子工業(yè)研究院有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L12/26;H04L29/08
• 代理公司: 北京科億知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11350
• 代理人: 湯東鳳

技術(shù)領(lǐng)域

本發(fā)明涉及云計(jì)算領(lǐng)域，尤其是一種面向云操作系統(tǒng)的故障恢復(fù)方法及其適用的數(shù)據(jù)分布架構(gòu)。

背景技術(shù)

云操作系統(tǒng)能對(duì)包括處理器、存儲(chǔ)、網(wǎng)絡(luò)在內(nèi)的硬件資源進(jìn)行統(tǒng)一管理。在當(dāng)前的云操作系統(tǒng)應(yīng)用部署中，數(shù)據(jù)存儲(chǔ)主要有兩種用途：(1)用戶接口存儲(chǔ)，即提供給用戶所使用的存儲(chǔ)；(2)系統(tǒng)所需存儲(chǔ)，例如虛擬機(jī)鏡像存儲(chǔ)，當(dāng)前，云操作系統(tǒng)的數(shù)據(jù)存儲(chǔ)存在性能不高、擴(kuò)展性不好、不穩(wěn)定、安全性不夠等問題。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題之一在于提供一種面向云操作系統(tǒng)的數(shù)據(jù)存儲(chǔ)的故障恢復(fù)方法，提高數(shù)據(jù)的可用性。

本發(fā)明解決的技術(shù)問題之二在于提供一種數(shù)據(jù)分布架構(gòu)，可以解決元數(shù)據(jù)服務(wù)的可用性、可擴(kuò)展性。

本發(fā)明解決上述技術(shù)問題之一的技術(shù)方案是：

創(chuàng)建流水日志，在每臺(tái)元數(shù)據(jù)服務(wù)器上記錄其元數(shù)據(jù)的更改內(nèi)容，并以日志的方式進(jìn)行持久存儲(chǔ)，并按如下步驟實(shí)施；

第1步，在元數(shù)據(jù)服務(wù)器中通過某種機(jī)制選舉一臺(tái)活動(dòng)而且功能正常的元數(shù)據(jù)服務(wù)器作為故障恢復(fù)中心；

第2步，其他元數(shù)據(jù)服務(wù)器周期性地給中心點(diǎn)發(fā)送心跳消息，若在一段時(shí)間內(nèi)，中心未收到某臺(tái)元數(shù)據(jù)服務(wù)器的心跳消息，則中心判斷該元數(shù)據(jù)服務(wù)器已經(jīng)發(fā)生故障，該服務(wù)器將進(jìn)行故障恢復(fù)；

第3步，恢復(fù)，讀取流水日志，恢復(fù)元數(shù)據(jù)，并將部分元數(shù)據(jù)預(yù)讀到高速緩存中進(jìn)行緩存；重啟元數(shù)據(jù)服務(wù)器進(jìn)程；給中心和其他元數(shù)據(jù)服務(wù)器發(fā)送加入消息，重新加入元數(shù)據(jù)服務(wù)器集群。

本發(fā)明解決上述技術(shù)問題之二的技術(shù)方案是：

采用分布式存儲(chǔ)架構(gòu)將元數(shù)據(jù)和數(shù)據(jù)進(jìn)行分離，使用專門的元數(shù)據(jù)服務(wù)器存儲(chǔ)元數(shù)據(jù)和處理客戶端對(duì)元數(shù)據(jù)的請(qǐng)求；

當(dāng)客戶端欲獲取某文件數(shù)據(jù)時(shí)，將首先和元數(shù)據(jù)服務(wù)器通信，獲取描述該文件數(shù)據(jù)的元數(shù)據(jù)，即獲取數(shù)據(jù)在數(shù)據(jù)服務(wù)器集群的存儲(chǔ)位置以及其他信息；然后客戶端和數(shù)據(jù)服務(wù)器集群通信，獲取其想要的數(shù)據(jù)。

所述的元數(shù)據(jù)服務(wù)系統(tǒng)架構(gòu)采用了多臺(tái)元數(shù)據(jù)服務(wù)器。

所述的元數(shù)據(jù)指描述數(shù)據(jù)及其環(huán)境的數(shù)據(jù)，特指描述文件信息或文件目錄信息的數(shù)據(jù)，這些信息包括文件大小、存放位置等。

元數(shù)據(jù)存儲(chǔ)介質(zhì)為固態(tài)硬盤、高速緩存。

本發(fā)明多元架構(gòu)具有如下優(yōu)點(diǎn)：(1)無單點(diǎn)故障，當(dāng)部分元數(shù)據(jù)服務(wù)器失效時(shí)，其他元數(shù)據(jù)服務(wù)器會(huì)接管元數(shù)據(jù)服務(wù)，保證元數(shù)據(jù)服務(wù)的高可用性；(2)可擴(kuò)展性好，存儲(chǔ)規(guī)模需要不斷擴(kuò)展，可能擴(kuò)展到PB甚至EB級(jí)存儲(chǔ)量，當(dāng)存儲(chǔ)量擴(kuò)充時(shí)，可相應(yīng)增加元數(shù)據(jù)服務(wù)器數(shù)量，以適應(yīng)元數(shù)據(jù)服務(wù)的速度要求。將元數(shù)據(jù)與數(shù)據(jù)進(jìn)行分離的優(yōu)點(diǎn)在于：(1)功能劃分清楚，邏輯簡(jiǎn)單；讓數(shù)據(jù)服務(wù)器專門存儲(chǔ)數(shù)據(jù)和處理數(shù)據(jù)請(qǐng)求，而將存儲(chǔ)和處理元數(shù)據(jù)的任務(wù)交給專門的服務(wù)器，各司其職，讓處理邏輯變的簡(jiǎn)單清晰。(2)元數(shù)據(jù)服務(wù)占數(shù)據(jù)讀寫總量的30％到70％，而且元數(shù)據(jù)讀寫中絕大部分為小數(shù)據(jù)量隨機(jī)讀寫，將占高比重的元數(shù)據(jù)服務(wù)與數(shù)據(jù)服務(wù)相分離，可以提高處理速度。

用固態(tài)硬盤和高速緩存的方式存儲(chǔ)元數(shù)據(jù)雖然成本較傳統(tǒng)SATA硬盤高，但是由于固態(tài)硬盤在讀寫數(shù)據(jù)時(shí)沒有尋道時(shí)間和旋轉(zhuǎn)時(shí)間，特別適合于進(jìn)行頻繁的小數(shù)據(jù)量的數(shù)據(jù)讀寫，而且，元數(shù)據(jù)的數(shù)據(jù)量不大，故在關(guān)鍵性能點(diǎn)采用適合應(yīng)用場(chǎng)景的成本較高的固態(tài)硬盤是可取的。為進(jìn)一步提高元數(shù)據(jù)讀寫速度，對(duì)熱點(diǎn)較高的數(shù)據(jù)，采用高速緩存的方式進(jìn)行緩存，從而進(jìn)一步提高元數(shù)據(jù)服務(wù)的讀取性能。

引入的故障恢復(fù)機(jī)制保證了元數(shù)據(jù)服務(wù)的高可用性。

附圖說明

下面結(jié)合附圖對(duì)本發(fā)明進(jìn)一步說明：

圖1是本發(fā)明元數(shù)據(jù)服務(wù)系統(tǒng)架構(gòu)示意圖；

圖2是本發(fā)明故障恢復(fù)架構(gòu)示意圖；

圖3是本發(fā)明故障恢復(fù)流程示意圖。

具體實(shí)施方式

如圖1所示，本發(fā)明引入了多元數(shù)據(jù)服務(wù)器架構(gòu)，分布式存儲(chǔ)架構(gòu)將元數(shù)據(jù)和數(shù)據(jù)進(jìn)行分離，使用專門的元數(shù)據(jù)服務(wù)器來存儲(chǔ)元數(shù)據(jù)和處理客戶端對(duì)元數(shù)據(jù)的請(qǐng)求。當(dāng)客戶端欲獲取某文件數(shù)據(jù)時(shí)，將首先和元數(shù)據(jù)服務(wù)器通信，獲取描述該文件數(shù)據(jù)的元數(shù)據(jù)，即獲取數(shù)據(jù)在數(shù)據(jù)服務(wù)器集群的存儲(chǔ)位置以及其他信息；然后客戶端和數(shù)據(jù)服務(wù)器集群通信，獲取其想要的數(shù)據(jù)。如圖2所示，為進(jìn)行快速故障恢復(fù)，本發(fā)明提出用流水日志來記錄元數(shù)據(jù)的更改，即每臺(tái)元數(shù)據(jù)服務(wù)器都會(huì)記錄在本機(jī)上元數(shù)據(jù)的更改內(nèi)容，并以日志的方式進(jìn)行持久存儲(chǔ)，使得即使在本機(jī)出現(xiàn)軟硬件故障時(shí)均可從流水日志得到恢復(fù)。圖3描述了故障恢復(fù)的流程，其具體步驟如下：

第1步，在元數(shù)據(jù)服務(wù)器中通過某種機(jī)制選舉一臺(tái)活動(dòng)而且功能正常的元數(shù)據(jù)服務(wù)器作為故障恢復(fù)中心；