[發(fā)明專利]一種塊存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)修復(fù)方法及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010588697.4
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111488238B
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計(jì)）人: 邱重陽;童穎睿;陳靚
• 申請(qǐng)（專利權(quán)）人: 南京鵬云網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F11/07
• 分類號(hào): G06F11/07;G06F11/20;G06F11/34
• 代理公司: 江蘇瑞途律師事務(wù)所 32346
• 代理人: 徐倩

本發(fā)明公開了一種塊存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)修復(fù)方法，包括故障修復(fù)中節(jié)點(diǎn)向主節(jié)點(diǎn)發(fā)起開始數(shù)據(jù)修復(fù)的請(qǐng)求，主節(jié)點(diǎn)接受數(shù)據(jù)修復(fù)請(qǐng)求，并將最新的日志ID返回給故障修復(fù)中節(jié)點(diǎn)；故障修復(fù)中節(jié)點(diǎn)與主節(jié)點(diǎn)進(jìn)行日志同步，并根據(jù)同步的日志情況標(biāo)記當(dāng)前頁是否需要修復(fù)；對(duì)被標(biāo)記為需要修復(fù)的頁，故障修復(fù)中節(jié)點(diǎn)向QOS控制器進(jìn)行注冊(cè)并申請(qǐng)修復(fù)所需的頁的數(shù)量；故障修復(fù)中節(jié)點(diǎn)向主節(jié)點(diǎn)發(fā)送數(shù)據(jù)修復(fù)請(qǐng)求，進(jìn)行數(shù)據(jù)修復(fù)。本發(fā)明同時(shí)提供一種存儲(chǔ)介質(zhì)，本發(fā)明可以保證在進(jìn)行數(shù)據(jù)修復(fù)的同時(shí)不中斷對(duì)客戶端的讀寫服務(wù)。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式存儲(chǔ)領(lǐng)域，更具體地說，涉及一種塊存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)修復(fù)方法及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的高速發(fā)展，大數(shù)據(jù)時(shí)代的到來，企業(yè)對(duì)存儲(chǔ)的依賴度日益增高，大量的高端主機(jī)和傳統(tǒng)存儲(chǔ)的成本非常高；而低端的刀片機(jī)和廉價(jià)的磁盤，配合分布式存儲(chǔ)軟件一起，是越來越多企業(yè)的首選存儲(chǔ)架構(gòu)。在大規(guī)模的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的背景下，存儲(chǔ)節(jié)點(diǎn)的主機(jī)故障、磁盤故障并不是偶發(fā)事件，而是常態(tài)。如何解決在常態(tài)化的硬件故障的情況，提供高可用、高安全性的存儲(chǔ)服務(wù)是所有的分布式存儲(chǔ)服務(wù)提供商需要考慮的問題。

目前，分布式數(shù)據(jù)存儲(chǔ)的修復(fù)技術(shù)有基于副本的修復(fù)、基于編碼的修復(fù)和基于路由器加速的修復(fù)。

基于副本的數(shù)據(jù)修復(fù)：存儲(chǔ)節(jié)點(diǎn)中存儲(chǔ)的是源文件的副本數(shù)據(jù)，修復(fù)時(shí)newNode從任一provider 中獲取數(shù)據(jù)，也可從多provider 并行下載以降低傳輸時(shí)間。當(dāng)某個(gè)副本丟失或損壞后，系統(tǒng)需要再建立一個(gè)新的副本，為此系統(tǒng)選擇一個(gè)存儲(chǔ)節(jié)點(diǎn)作為newNode，newNode 從至少一個(gè)存儲(chǔ)節(jié)點(diǎn)中接受數(shù)據(jù)，向newNode 提供數(shù)據(jù)的節(jié)點(diǎn)稱為provider。

該技術(shù)的缺點(diǎn)在于：節(jié)點(diǎn)需存儲(chǔ)大量數(shù)據(jù)，每個(gè)存儲(chǔ)節(jié)點(diǎn)均需存儲(chǔ)一個(gè)文件副本，存儲(chǔ)冗余度大，造成大量存儲(chǔ)資源浪費(fèi)。修復(fù)時(shí)間長(zhǎng)，需傳輸整個(gè)文件，同時(shí)占用大量網(wǎng)絡(luò)帶寬資源。

基于編碼的數(shù)據(jù)修復(fù)( 糾刪碼) ：源文件在被存儲(chǔ)到存儲(chǔ)節(jié)點(diǎn)前進(jìn)行編碼。整個(gè)文件被分為k 塊，編碼后可得到n 個(gè)編碼塊，n 個(gè)編碼塊中的任意k 塊即可恢復(fù)源文件。每個(gè)存儲(chǔ)節(jié)點(diǎn)中分別存儲(chǔ)一個(gè)編碼塊。修復(fù)時(shí)，newNode至少需從k個(gè)provider 下載編碼塊，由newNode對(duì)收到的編碼塊重新編碼得到一個(gè)新的編碼塊。

但是糾刪碼在修復(fù)損壞的數(shù)據(jù)節(jié)點(diǎn)時(shí)存在一個(gè)問題：修復(fù)M1 大小的數(shù)據(jù)塊需要通過網(wǎng)絡(luò)連接從k 個(gè)不同的節(jié)點(diǎn)上總共下載k×M1 大小的數(shù)據(jù)塊，這樣修復(fù)帶寬成本高昂。

基于路由器加速的數(shù)據(jù)修復(fù)方法，基于路由器加速的修復(fù)算法雖然提高了修復(fù)效率，但由于所有的修復(fù)管理還是由管理節(jié)點(diǎn)負(fù)責(zé)，管理節(jié)點(diǎn)的負(fù)載較大，對(duì)路由器的性能和功能上有一定要求。

當(dāng)前，對(duì)損壞的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行修復(fù)主要采用的方式是：對(duì)存在損壞數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)進(jìn)行物理隔離，識(shí)別出該存儲(chǔ)節(jié)點(diǎn)中的損壞部分，將該損壞部分中原本存儲(chǔ)的數(shù)據(jù)在該損壞部分重新進(jìn)行覆蓋寫入的操作，寫入成功則說明該損壞部分修復(fù)完成。

由于對(duì)損壞部分進(jìn)行修復(fù)時(shí)，需要將損壞部分的存儲(chǔ)節(jié)點(diǎn)從系統(tǒng)中隔離出來，對(duì)該存儲(chǔ)節(jié)點(diǎn)單獨(dú)進(jìn)行修復(fù)，此過程中分布式存儲(chǔ)系統(tǒng)無法對(duì)客戶端的讀取請(qǐng)求做出反饋，只有成功修復(fù)后，分布式存儲(chǔ)系統(tǒng)才會(huì)對(duì)客戶端的讀取請(qǐng)求做出正常反饋，即在數(shù)據(jù)修復(fù)的過程中分布式存儲(chǔ)系統(tǒng)會(huì)出現(xiàn)業(yè)務(wù)中斷的現(xiàn)象，影響分布式存儲(chǔ)系統(tǒng)的業(yè)務(wù)性能。

本發(fā)明對(duì)于基于副本的數(shù)據(jù)修復(fù)技術(shù)進(jìn)行了改進(jìn)，以克服現(xiàn)有技術(shù)中在進(jìn)行數(shù)據(jù)修復(fù)的過程中出現(xiàn)業(yè)務(wù)中斷。

發(fā)明內(nèi)容

1. 要解決的問題

針對(duì)現(xiàn)有技術(shù)中的基于副本的數(shù)據(jù)修復(fù)技術(shù)在數(shù)據(jù)修復(fù)過程中，副本修復(fù)中的節(jié)點(diǎn)既要處理數(shù)據(jù)修復(fù)又要處理對(duì)外業(yè)務(wù)，容易出現(xiàn)數(shù)據(jù)修復(fù)與對(duì)外業(yè)務(wù)相互影響而引發(fā)的各種問題，具體表現(xiàn)為以下三點(diǎn)：

（1）數(shù)據(jù)修復(fù)過程中的數(shù)據(jù)寫入，導(dǎo)致對(duì)外業(yè)務(wù)的讀寫性能下降，