[發(fā)明專利]一種基于糾刪碼的存儲(chǔ)數(shù)據(jù)重構(gòu)方法和裝置、存儲(chǔ)節(jié)點(diǎn)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610495313.8
• 申請(qǐng)日: 2016-06-29
• 公開（公告）號(hào): CN107544862B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 江瀅;王志坤
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): G06F11/10
• 分類號(hào): G06F11/10;G06F3/06;H04L41/0654;H04L67/1097
• 代理公司: 深圳鼎合誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 44281
• 代理人: 江婷;李發(fā)兵

本發(fā)明實(shí)施例提供一種基于糾刪碼的存儲(chǔ)數(shù)據(jù)重構(gòu)方法和裝置、存儲(chǔ)節(jié)點(diǎn)，通過確定啟動(dòng)故障恢復(fù)閾值，啟動(dòng)故障恢復(fù)閾值小于等于條帶存儲(chǔ)數(shù)據(jù)塊數(shù)量與糾刪碼重構(gòu)最少數(shù)據(jù)塊數(shù)量的差值，且大于等于1；對(duì)于故障數(shù)據(jù)塊數(shù)量達(dá)到啟動(dòng)故障恢復(fù)閾值的條帶，啟動(dòng)該條帶的故障恢復(fù)；利用該條帶的非故障數(shù)據(jù)塊進(jìn)行數(shù)據(jù)重構(gòu)。相比于現(xiàn)有技術(shù)減少了進(jìn)行故障恢復(fù)的次數(shù)，從而減輕了系統(tǒng)的帶寬消耗，使得系統(tǒng)更穩(wěn)定，提高了系統(tǒng)的業(yè)務(wù)性能。

技術(shù)領(lǐng)域

本發(fā)明涉及通信領(lǐng)域，尤其涉及一種基于糾刪碼的存儲(chǔ)數(shù)據(jù)重構(gòu)方法和裝置、存儲(chǔ)節(jié)點(diǎn)。

背景技術(shù)

近年來，隨著信息資源和數(shù)據(jù)的爆炸性增長(zhǎng)，分布式存儲(chǔ)系統(tǒng)憑借高性能、高擴(kuò)展、高可用、易管理等特點(diǎn)，成為云存儲(chǔ)和大數(shù)據(jù)的基礎(chǔ)和核心。但是由于硬件損壞和軟件故障等原因，在數(shù)據(jù)存儲(chǔ)過程中可能發(fā)生數(shù)據(jù)的損壞和丟失。云存儲(chǔ)系統(tǒng)一般采用糾刪碼技術(shù)來提升容錯(cuò)能力，提高數(shù)據(jù)資源的使用效率和系統(tǒng)性能。糾刪碼在沒有增加過量的存儲(chǔ)空間的基礎(chǔ)上，通常通過合理的冗余編碼來保證數(shù)據(jù)的高可靠性和可用性。在云存儲(chǔ)系統(tǒng)中，采用糾刪碼技術(shù)對(duì)數(shù)據(jù)進(jìn)行保存，相對(duì)于完全復(fù)制技術(shù)，在很大程度上降低了系統(tǒng)的空間開銷，但同時(shí)由于數(shù)據(jù)重構(gòu)會(huì)帶來巨大的網(wǎng)絡(luò)開銷，采用這種糾刪碼技術(shù)可能導(dǎo)致整個(gè)系統(tǒng)的網(wǎng)絡(luò)或者部分節(jié)點(diǎn)的網(wǎng)絡(luò)擁塞而無法提供服務(wù)，影響系統(tǒng)的性能。而且隨著系統(tǒng)規(guī)模和磁盤容量增大，當(dāng)前存儲(chǔ)系統(tǒng)中部署的節(jié)點(diǎn)量越來越大，每天失效的節(jié)點(diǎn)數(shù)量也隨之增多，數(shù)據(jù)恢復(fù)流量比重在總網(wǎng)絡(luò)流量中還會(huì)不斷增長(zhǎng)，則會(huì)極大影響日常業(yè)務(wù)數(shù)據(jù)的訪問。所以如何降低糾刪碼技術(shù)中的帶寬消耗，保障業(yè)務(wù)性能是當(dāng)前值得考慮的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供的基于糾刪碼的存儲(chǔ)數(shù)據(jù)重構(gòu)方法和裝置、存儲(chǔ)節(jié)點(diǎn)，主要解決的技術(shù)問題是現(xiàn)有技術(shù)中糾刪碼技術(shù)進(jìn)行存儲(chǔ)數(shù)據(jù)重構(gòu)時(shí)帶寬消耗高，使得系統(tǒng)不穩(wěn)定，業(yè)務(wù)性能不好的問題。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種基于糾刪碼的存儲(chǔ)數(shù)據(jù)重構(gòu)方法，包括：

確定啟動(dòng)故障恢復(fù)閾值，啟動(dòng)故障恢復(fù)閾值小于等于條帶存儲(chǔ)數(shù)據(jù)塊數(shù)量與糾刪碼重構(gòu)最少數(shù)據(jù)塊數(shù)量的差值，且大于等于1；

對(duì)于故障數(shù)據(jù)塊數(shù)量達(dá)到啟動(dòng)故障恢復(fù)閾值的條帶，啟動(dòng)該條帶的故障恢復(fù)；

利用該條帶的非故障數(shù)據(jù)塊進(jìn)行數(shù)據(jù)重構(gòu)。

本發(fā)明實(shí)施例還提供一種基于糾刪碼的存儲(chǔ)數(shù)據(jù)重構(gòu)裝置，包括：

啟動(dòng)故障恢復(fù)閾值確定模塊，用于確定啟動(dòng)故障恢復(fù)閾值，啟動(dòng)故障恢復(fù)閾值小于等于條帶存儲(chǔ)數(shù)據(jù)塊數(shù)量與糾刪碼重構(gòu)最少數(shù)據(jù)塊數(shù)量的差值，且大于等于1；

故障恢復(fù)啟動(dòng)模塊，用于對(duì)于故障數(shù)據(jù)塊數(shù)量達(dá)到啟動(dòng)故障恢復(fù)閾值的條帶，啟動(dòng)該條帶的故障恢復(fù)；

數(shù)據(jù)重構(gòu)模塊，用于利用該條帶的非故障數(shù)據(jù)塊進(jìn)行數(shù)據(jù)重構(gòu)。

本發(fā)明實(shí)施例還提供一種基于糾刪碼的存儲(chǔ)節(jié)點(diǎn)，包括物理存儲(chǔ)介質(zhì)和處理器，處理器用于：

確定啟動(dòng)故障恢復(fù)閾值，并將啟動(dòng)故障恢復(fù)閾值分發(fā)到其它存儲(chǔ)節(jié)點(diǎn)；啟動(dòng)故障恢復(fù)閾值小于等于條帶存儲(chǔ)數(shù)據(jù)塊數(shù)量與糾刪碼重構(gòu)最少數(shù)據(jù)塊數(shù)量的差值，且大于等于1；

掃描本存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)的各條帶的故障情況，對(duì)于故障數(shù)據(jù)塊數(shù)量達(dá)到啟動(dòng)故障恢復(fù)閾值的條帶，啟動(dòng)該條帶的故障恢復(fù)；

從本存儲(chǔ)節(jié)點(diǎn)的物理存儲(chǔ)介質(zhì)以及其他存儲(chǔ)節(jié)點(diǎn)的物理存儲(chǔ)介質(zhì)中提取該條帶的非故障數(shù)據(jù)塊進(jìn)行數(shù)據(jù)重構(gòu)。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，計(jì)算機(jī)存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行前述的任一項(xiàng)的基于糾刪碼的存儲(chǔ)數(shù)據(jù)重構(gòu)方法。

本發(fā)明的有益效果是：