[發(fā)明專利]一種提高糾刪碼恢復(fù)速度的方法、裝置及后臺服務(wù)器

在審

• 申請?zhí)枺?/td>: 201911038779.5
• 申請日: 2019-10-29
• 公開（公告）號: CN111045853A
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計）人: 張道龍
• 申請（專利權(quán)）人: 烽火通信科技股份有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F11/14
• 代理公司: 武漢東喻專利代理事務(wù)所(普通合伙) 42224
• 代理人: 趙偉

本發(fā)明公開了一種提高糾刪碼恢復(fù)速度的方法、裝置及后臺服務(wù)器，該方法包括：對數(shù)據(jù)進行分割及冗余處理，生成多個第一數(shù)據(jù)塊和第一校驗塊；將第一數(shù)據(jù)塊劃分為多個邏輯組，對每個邏輯組內(nèi)的第一數(shù)據(jù)塊進行冗余處理，得到至少一個第二校驗塊；將每個邏輯組內(nèi)的第一數(shù)據(jù)塊進行再分割處理后得到多個第二數(shù)據(jù)塊及第二校驗塊存儲至不同的節(jié)點上并形成配置文件；根據(jù)配置文件查找故障節(jié)點所屬的邏輯組，控制從邏輯組內(nèi)隨機選取的節(jié)點拷貝該邏輯組內(nèi)各節(jié)點上的第二數(shù)據(jù)塊和第二校驗塊對故障節(jié)點進行組內(nèi)數(shù)據(jù)恢復(fù)；本發(fā)明進行數(shù)據(jù)恢復(fù)時所需數(shù)據(jù)量更少，無需從全部節(jié)點拷貝數(shù)據(jù)，整個恢復(fù)過程占用的時間更短，進行數(shù)據(jù)傳輸時占用的帶寬和資源也更少。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)存儲與恢復(fù)技術(shù)領(lǐng)域，更具體地，涉及一種提高糾刪碼恢復(fù)速度的方法、裝置及后臺服務(wù)器。

背景技術(shù)

Ceph是一個專注于分布式的、彈性可擴展的、高可靠的、性能優(yōu)異的存儲系統(tǒng)平臺，可用于為虛擬機提供塊存儲方案或通過FUSE提供常規(guī)的文件系統(tǒng)。Ceph是個高度可配置的系統(tǒng)，管理者可以控制系統(tǒng)的各個方面，它提供了一個命令行界面用于監(jiān)視和控制其存儲集群。Ceph也包含鑒證和授權(quán)功能，可兼容多種存儲網(wǎng)關(guān)接口，如OpenStack Swift和Amazon S3。

目前Ceph支持用副本策略或者糾刪碼保證數(shù)據(jù)的可靠性，副本策略和糾刪碼是存儲領(lǐng)域常見的兩種數(shù)據(jù)冗余技術(shù)。副本是將數(shù)據(jù)復(fù)制多份，并將其存儲在不同的位置，比如磁盤、存儲節(jié)點或者其它地理位置。糾刪碼(erasure coding，EC)是將數(shù)據(jù)分割成n個片段，原始的數(shù)據(jù)元素通過一定的計算，得到m塊冗余元素(校驗塊)，并將m+n塊數(shù)據(jù)存儲在不同的位置，比如磁盤、存儲節(jié)點或者其它地理位置。相比于副本策略，糾刪碼具有更高的磁盤利用率。

然而隨著時間遷移，Ceph存儲的數(shù)據(jù)會越來越多，如果出現(xiàn)節(jié)點或者機器故障將有大量數(shù)據(jù)需要恢復(fù)，會占用大量的帶寬和資源，Ceph中的數(shù)據(jù)存儲節(jié)點越多，帶寬和資源的占用情況越嚴重，這樣可能造成Ceph穩(wěn)定性下降，甚至可能影響上層的服務(wù)。

當Ceph中的某個節(jié)點出現(xiàn)故障，造成數(shù)據(jù)丟失或者不可訪問，會觸發(fā)Ceph數(shù)據(jù)恢復(fù)，負責(zé)數(shù)據(jù)恢復(fù)的節(jié)點需要從所有存儲數(shù)據(jù)塊的節(jié)點上拷貝數(shù)據(jù)，假如Ceph中共有100個數(shù)據(jù)存儲節(jié)點，則負責(zé)數(shù)據(jù)恢復(fù)的節(jié)點需要拷貝其它98個數(shù)據(jù)存儲節(jié)點上存儲的數(shù)據(jù)片段，經(jīng)過大量的數(shù)據(jù)計算后對故障節(jié)點的數(shù)據(jù)進行恢復(fù)；如果節(jié)點更多的話，需要從更多的節(jié)點拷貝數(shù)據(jù)；這種數(shù)據(jù)恢復(fù)方法存在以下缺陷：一是拷貝大量數(shù)據(jù)需要占用網(wǎng)絡(luò)帶寬，會影響Ceph的其他服務(wù)功能；二是會占用負責(zé)恢復(fù)數(shù)據(jù)的節(jié)點大量的系統(tǒng)資源，并且數(shù)據(jù)恢復(fù)的時間比較長。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的至少一個缺陷或改進需求，本發(fā)明提供了一種提高糾刪碼恢復(fù)速度的方法、裝置及后臺服務(wù)器，其目的在于解決現(xiàn)有的數(shù)據(jù)恢復(fù)方式存在的數(shù)據(jù)恢復(fù)的時間長，并且占用大量的帶寬和資源，造成Ceph穩(wěn)定性下降的問題。

為實現(xiàn)上述目的，按照本發(fā)明的第一個方面，提供了一種提高糾刪碼恢復(fù)速度的方法，該方法包括以下步驟：

S1：根據(jù)預(yù)置的糾刪碼策略以及存儲節(jié)點的數(shù)量對待存儲數(shù)據(jù)進行分割及冗余處理，生成多個第一數(shù)據(jù)塊和第一校驗塊；

S2：將多個所述第一數(shù)據(jù)塊劃分為至少兩個邏輯組，分別對每個所述邏輯組內(nèi)的多個第一數(shù)據(jù)塊進行冗余處理，得到至少一個第二校驗塊；

S3：對每個邏輯組內(nèi)的多個第一數(shù)據(jù)塊進行再分割處理，得到多個第二數(shù)據(jù)塊，且所述第二數(shù)據(jù)塊與第二校驗塊的總量與第一數(shù)據(jù)塊的數(shù)量相等；

S4：分別將各邏輯組內(nèi)的多個第二數(shù)據(jù)塊和第二校驗塊分布存儲至不同的存儲節(jié)點上，并形成記錄所述邏輯組與其包含的存儲節(jié)點之間的對應(yīng)關(guān)系的配置文件；