[發(fā)明專利]一種分布式存儲系統(tǒng)數(shù)據(jù)均衡的方法和相關(guān)裝置

有效

• 申請?zhí)枺?/td>: 202011194931.1
• 申請日: 2020-10-30
• 公開（公告）號: CN112015708B
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計）人: 甘紅星
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F3/06
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 儲倩

本申請公開了一種分布式存儲系統(tǒng)數(shù)據(jù)均衡的方法和相關(guān)裝置，該方法包括：從目標(biāo)服務(wù)器的當(dāng)前磁盤中，選擇一個待數(shù)據(jù)重整數(shù)據(jù)塊作為目標(biāo)數(shù)據(jù)塊；依據(jù)目標(biāo)服務(wù)器的各個磁盤的使用情況和數(shù)據(jù)重整并發(fā)數(shù)據(jù)，篩選符合預(yù)設(shè)使用條件和預(yù)設(shè)數(shù)據(jù)重整并發(fā)條件的磁盤作為目標(biāo)磁盤；對目標(biāo)數(shù)據(jù)塊進(jìn)行數(shù)據(jù)重整，將數(shù)據(jù)重整后的數(shù)據(jù)寫入目標(biāo)磁盤。在數(shù)據(jù)重整后的數(shù)據(jù)寫入目標(biāo)選擇上，優(yōu)先選擇使用情況和數(shù)據(jù)重整并發(fā)數(shù)據(jù)符合預(yù)設(shè)使用條件和預(yù)設(shè)數(shù)據(jù)重整并發(fā)條件的磁盤；采用上述方式通過已有的數(shù)據(jù)重整處理，動態(tài)調(diào)節(jié)不同磁盤的使用情況，實現(xiàn)服務(wù)器集群中單個服務(wù)器內(nèi)不同磁盤間數(shù)據(jù)均衡，不會增加額外的磁盤IO，也避免了服務(wù)器集群的寫入瓶頸。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種分布式存儲系統(tǒng)數(shù)據(jù)均衡的方法和相關(guān)裝置。

背景技術(shù)

隨著數(shù)據(jù)的快速增長，分布式存儲系統(tǒng)的應(yīng)用越來越廣，例如，分布式對象存儲系統(tǒng)。分布式存儲系統(tǒng)通常采用循環(huán)策略將數(shù)據(jù)自動打散存儲到不同服務(wù)器的不同磁盤上，當(dāng)擴容新的服務(wù)器后，由于新的服務(wù)器還未存儲數(shù)據(jù)，分布式存儲系統(tǒng)采用可用空間策略優(yōu)先將數(shù)據(jù)寫入至新的服務(wù)器，使得服務(wù)器集群中各個服務(wù)器使用率趨于均衡狀態(tài)。

分布式存儲系統(tǒng)經(jīng)常出現(xiàn)磁盤故障的情況，當(dāng)磁盤修復(fù)完成重新加入服務(wù)器后，通常是采用可用空間策略優(yōu)先或者主動數(shù)據(jù)均衡策略實現(xiàn)服務(wù)器集群中單個服務(wù)器內(nèi)數(shù)據(jù)均衡。但是，可用空間策略對于單個服務(wù)器內(nèi)不同磁盤間數(shù)據(jù)均衡效果一般，容易出現(xiàn)服務(wù)器集群的寫入瓶頸；主動數(shù)據(jù)均衡策略對存在吞吐壓力的服務(wù)器集群造成額外的IO放大。

發(fā)明內(nèi)容

有鑒于此，本申請實施例提供一種分布式存儲系統(tǒng)數(shù)據(jù)均衡的方法和相關(guān)裝置，不會增加額外的磁盤IO，也避免了服務(wù)器集群的寫入瓶頸，即可實現(xiàn)服務(wù)器集群中單個服務(wù)器內(nèi)不同磁盤間數(shù)據(jù)均衡。

第一方面，本申請實施例提供了一種分布式存儲系統(tǒng)數(shù)據(jù)均衡的方法，所述方法包括：

從目標(biāo)服務(wù)器的當(dāng)前磁盤中，確定一個待數(shù)據(jù)重整數(shù)據(jù)塊為目標(biāo)數(shù)據(jù)塊；

基于所述目標(biāo)服務(wù)器的各個磁盤的使用情況和數(shù)據(jù)重整并發(fā)數(shù)據(jù)，篩選符合預(yù)設(shè)使用條件和預(yù)設(shè)數(shù)據(jù)重整并發(fā)條件的磁盤作為目標(biāo)磁盤；

對所述目標(biāo)數(shù)據(jù)塊進(jìn)行數(shù)據(jù)重整，將數(shù)據(jù)重整后的數(shù)據(jù)寫入所述目標(biāo)磁盤。

可選的，所述基于所述目標(biāo)服務(wù)器的各個磁盤的使用情況和數(shù)據(jù)重整并發(fā)數(shù)據(jù)，篩選符合預(yù)設(shè)條件的磁盤為目標(biāo)磁盤，包括：

基于各個所述磁盤的使用情況，篩選符合所述預(yù)設(shè)使用條件的磁盤作為候選磁盤；

基于各個所述候選磁盤的可用空間由大到小排序各個所述候選磁盤；

按照排序判斷所述候選磁盤的數(shù)據(jù)重整并發(fā)數(shù)據(jù)是否符合預(yù)設(shè)數(shù)據(jù)重整并發(fā)條件；若是，將所述候選磁盤確定為所述目標(biāo)磁盤。

可選的，所述預(yù)設(shè)使用條件具體為可用空間大于所述當(dāng)前磁盤的可用空間，或者，磁盤使用率小于所述當(dāng)前磁盤的磁盤使用率；所述預(yù)設(shè)數(shù)據(jù)重整并發(fā)條件具體為數(shù)據(jù)重整并發(fā)數(shù)據(jù)小于預(yù)設(shè)數(shù)據(jù)重整并發(fā)數(shù)據(jù)上限。

可選的，所述數(shù)據(jù)重整并發(fā)數(shù)據(jù)包括數(shù)據(jù)重整并發(fā)數(shù)量和數(shù)據(jù)重整并發(fā)速度。

可選的，所述按照排序判斷所述候選磁盤的數(shù)據(jù)重整并發(fā)數(shù)據(jù)是否符合預(yù)設(shè)數(shù)據(jù)重整并發(fā)條件，具體為：

按照排序判斷所述候選磁盤的數(shù)據(jù)重整并發(fā)數(shù)量是否小于預(yù)設(shè)數(shù)據(jù)重整并發(fā)數(shù)量上限，且數(shù)據(jù)重整并發(fā)速度是否小于預(yù)設(shè)數(shù)據(jù)重整并發(fā)速度上限。

可選的，在所述篩選符合預(yù)設(shè)使用條件和預(yù)設(shè)數(shù)據(jù)重整并發(fā)條件的磁盤作為目標(biāo)磁盤之后，還包括：

更新所述目標(biāo)磁盤的數(shù)據(jù)重整并發(fā)數(shù)據(jù)。

可選的，所述確定一個待數(shù)據(jù)重整數(shù)據(jù)塊為目標(biāo)數(shù)據(jù)塊，具體為：