[發(fā)明專利]一種基于Ceph分布式系統(tǒng)多機(jī)架更新修復(fù)數(shù)據(jù)的優(yōu)化方法

在審

• 申請?zhí)枺?/td>: 202011518030.3
• 申請日: 2020-12-21
• 公開（公告）號: CN112463812A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 付蔚;鄧杰銘;王彥青;張棚;吳志強(qiáng)
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F3/06
• 代理公司: 北京同恒源知識產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

本發(fā)明涉及一種基于Ceph分布式系統(tǒng)多機(jī)架更新修復(fù)數(shù)據(jù)的優(yōu)化方法，屬于分布式存儲數(shù)據(jù)更新修復(fù)領(lǐng)域。該方法先對同機(jī)架內(nèi)的編碼塊聚合到一個(gè)節(jié)點(diǎn)，然后對其解碼操作，完成解碼運(yùn)算的一部分，接著把各個(gè)機(jī)架的解碼結(jié)果傳輸?shù)搅硪粋€(gè)節(jié)點(diǎn)，然后對所有獲得的解碼結(jié)果進(jìn)行異或處理，得到丟失的數(shù)據(jù)。相比傳統(tǒng)的RS解碼，本發(fā)明減少了機(jī)架間傳輸量，大大減少了修復(fù)數(shù)據(jù)的時(shí)間。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式存儲數(shù)據(jù)更新修復(fù)技術(shù)領(lǐng)域，涉及一種以使時(shí)間間隔為閾值的及時(shí)和延時(shí)更新節(jié)點(diǎn)，且通過改進(jìn)的糾刪碼可保證數(shù)據(jù)一致性、可靠性的跨機(jī)架高效數(shù)據(jù)修復(fù)的方法，此方法可用于對分布式系統(tǒng)丟失的部分?jǐn)?shù)據(jù)進(jìn)行數(shù)據(jù)修復(fù)。

背景技術(shù)

對于存儲設(shè)備數(shù)量大的分布式集群，發(fā)生故障是在所難免。面對分布式存儲出現(xiàn)的故障，系統(tǒng)怎么能快速的發(fā)現(xiàn)故障，定義類型，并且解決故障是一大挑戰(zhàn)。對于現(xiàn)大數(shù)據(jù)時(shí)代，大量數(shù)據(jù)是極為重要的，對于服務(wù)器可靠性穩(wěn)定性的判斷，就是基于數(shù)據(jù)是否能夠正常訪問，遇到故障數(shù)據(jù)是否能夠及時(shí)恢復(fù)、數(shù)據(jù)能夠及時(shí)轉(zhuǎn)移。因此，考慮設(shè)計(jì)一種方法能夠使系統(tǒng)遇到數(shù)據(jù)丟失的情況，能及時(shí)的進(jìn)行修復(fù)、并能及時(shí)對節(jié)點(diǎn)進(jìn)行更新的功能。

現(xiàn)在最經(jīng)常使用的方法是多副本，簡而言之就是將數(shù)據(jù)復(fù)制多份，存儲到不同的節(jié)點(diǎn)。還有一種方法就是使用RS糾刪碼，糾刪碼可以保證系統(tǒng)的可靠性，用低冗余的方法進(jìn)行數(shù)據(jù)的恢復(fù)，此方法成為分布式系統(tǒng)上最為常見、使用最廣泛的方法。但是此方法也有它致命的缺點(diǎn)，就是它恢復(fù)數(shù)據(jù)時(shí)是需要從多個(gè)節(jié)點(diǎn)進(jìn)行讀取數(shù)據(jù)，來進(jìn)行算法操作修復(fù)丟失的數(shù)據(jù)，對節(jié)點(diǎn)數(shù)據(jù)的讀取就涉及到I/O方面的開銷，特別是多個(gè)機(jī)架時(shí)，跨機(jī)架的通信是需要大量的I/O開銷，占用一些系統(tǒng)的資源，導(dǎo)致效率比較低下。分布式存儲系統(tǒng)出現(xiàn)故障，數(shù)據(jù)恢復(fù)的速度對集群的整體性能的影響是巨大的，因?yàn)榉?wù)器、磁盤經(jīng)常會發(fā)發(fā)生故障，所以需要頻繁重構(gòu)數(shù)據(jù)，來進(jìn)行數(shù)據(jù)的修復(fù)。如果修復(fù)方法占用資源大，需要較長的時(shí)間重建數(shù)據(jù)就會大大影響系統(tǒng)的性能，甚至?xí)档驼Ｗx取被擦除數(shù)據(jù)的性能，導(dǎo)致數(shù)據(jù)可能會進(jìn)一步丟失，增加永久數(shù)據(jù)丟失的敏感性。所以，減少數(shù)據(jù)恢復(fù)處理的時(shí)間是必不可少的，因此許多研究人員對修復(fù)的算法、編碼的存儲方式、數(shù)據(jù)修復(fù)的流程都改進(jìn)研究，來減少I/O傳輸?shù)拈_銷。

對于糾刪碼修復(fù)數(shù)據(jù)之前，需要對節(jié)點(diǎn)進(jìn)行更新，保證數(shù)據(jù)是最新的狀態(tài)。在多點(diǎn)更新的場景下需要消耗大量的網(wǎng)絡(luò)開銷和完成成倍的計(jì)算，所以，怎么以低成本和高效的方式完成糾刪碼修復(fù)更新成為了新對挑戰(zhàn)。對于糾刪碼種的數(shù)據(jù)塊、編碼塊，它們對于數(shù)據(jù)的要求是不一樣的，數(shù)據(jù)塊需要的是數(shù)據(jù)的一致性，編碼塊需要的是它的更新效率，因此對此需要亟需設(shè)計(jì)出一種更新效率的算法，對兩種特性都能兼顧到，能更好的對數(shù)據(jù)進(jìn)行高效率的更新。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種基于Ceph分布式系統(tǒng)多機(jī)架更新修復(fù)數(shù)據(jù)的優(yōu)化方法，針對現(xiàn)有技術(shù)中分布式系統(tǒng)存儲故障數(shù)據(jù)丟失修復(fù)及其數(shù)據(jù)更新高I/O開銷低效率的問題，提供高效率、高可靠性的數(shù)據(jù)修復(fù)方法。

為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于Ceph分布式系統(tǒng)多機(jī)架更新修復(fù)數(shù)據(jù)的優(yōu)化方法，先對同機(jī)架內(nèi)的編碼塊聚合到一個(gè)節(jié)點(diǎn)，然后對其解碼操作，完成解碼運(yùn)算的一部分，接著把各個(gè)機(jī)架的解碼結(jié)果傳輸?shù)搅硪粋€(gè)節(jié)點(diǎn)，然后對所有獲得的解碼結(jié)果進(jìn)行異或處理，得到丟失的數(shù)據(jù)。

該方法的原理是先利用以時(shí)間間隔為閾值，設(shè)置觸發(fā)更新的功能，數(shù)據(jù)塊采用即時(shí)更新，編碼塊采用延時(shí)更新，兩種分別的方法能更好的解決數(shù)據(jù)更新問題。對更新好的數(shù)據(jù)進(jìn)行數(shù)據(jù)修復(fù)，因?yàn)槎际情g斷性的時(shí)間更新，所以無論數(shù)據(jù)怎么變，修復(fù)的都是目前最新需要的數(shù)據(jù)。

該方法具體包括以下步驟：

S1：確定數(shù)據(jù)更新觸發(fā)時(shí)機(jī)；

S2：使用及時(shí)和延遲對節(jié)點(diǎn)進(jìn)行數(shù)據(jù)更新；包括：對節(jié)點(diǎn)的數(shù)據(jù)塊編碼塊進(jìn)行以時(shí)間間隔為閾值的及時(shí)和延時(shí)更新；