[發(fā)明專利]一種主放置組均衡優(yōu)化的方法、系統(tǒng)、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010445414.0
• 申請日: 2020-05-24
• 公開（公告）號: CN111708486B
• 公開（公告）日: 2023-01-06
• 發(fā)明（設(shè)計）人: 孫潤宇;孟祥瑞
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 楊帆

本發(fā)明公開了一種主放置組均衡優(yōu)化的方法、系統(tǒng)、設(shè)備和存儲介質(zhì)，方法包括以下步驟：根據(jù)緩存盤的總?cè)萘亢蛯ο蟠鎯υO(shè)備的總個數(shù)得到理論平均值；基于對象存儲設(shè)備占用的實(shí)際容量與理論平均值得到對象存儲設(shè)備對應(yīng)的權(quán)重；獲取當(dāng)前主放置組的總個數(shù)，并基于當(dāng)前主放置組的總個數(shù)和對象存儲設(shè)備對應(yīng)的權(quán)重得到預(yù)期均衡主放置組的數(shù)量；讀取冗余組里的每個放置組的地址，基于每個放置組的地址和對象存儲設(shè)備的地址得到對應(yīng)的基值，響應(yīng)于基值小于預(yù)定值，將放置組作為主放置組；重復(fù)上一步驟直到主放置組的數(shù)量達(dá)到預(yù)期均衡主放置組的數(shù)量。本發(fā)明提出的方案通過計算對象存儲設(shè)備的權(quán)重來計算預(yù)期均衡主放置組的個數(shù)，從而優(yōu)化系統(tǒng)性能。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲領(lǐng)域，更具體地，特別是指一種主放置組均衡優(yōu)化的方法、系統(tǒng)、計算機(jī)設(shè)備及可讀介質(zhì)。

背景技術(shù)

在分布式存儲系統(tǒng)中，存儲的內(nèi)容按照固定大小切割，這一塊固定大小的數(shù)據(jù)稱為一個對象，PG(Placement Group，放置組)就是多個對象的聚合，存儲池則是多個PG的聚合，都是一個邏輯上的概念。每個PG與OSD(Object-based Storage Device，對象存儲設(shè)備)的對應(yīng)是通過數(shù)據(jù)分布算法對應(yīng)起來的，一個PG對應(yīng)于多個OSD，OSD可以簡單理解為物理上的磁盤，一個OSD上可以有多個PG，這樣想要存儲的內(nèi)容就放置在了磁盤上。為了保證數(shù)據(jù)的一致性，引入了冗余策略和PG角色的劃分，選取某一個起主導(dǎo)作用的PG作為數(shù)據(jù)讀寫的起始，稱其為primary，針對冗余中的其他PG稱為replica，這樣的一組PG暫且稱為冗余組，冗余組中的每個PG存放的數(shù)據(jù)一致。針對某一個冗余組中，如果要對其進(jìn)行寫都會先寫到primary中再傳遞給它的replica，如果要對其進(jìn)行讀，都會轉(zhuǎn)到primary上進(jìn)行讀。關(guān)于PG的ID(地址)和OSD的ID(地址)，都是在分布式集群存儲池創(chuàng)建好后就唯一確定的值。

由上可知，在分布式存儲集群中，如果每個冗余組中的primary在OSD上的分布不均衡的話，就會導(dǎo)致每個OSD的壓力不同，影響集群性能。在分布式集群中，往往一塊固態(tài)硬盤可以作為多塊機(jī)械硬盤的緩存盤，每個固態(tài)盤上被機(jī)械盤當(dāng)作緩存盤的個數(shù)也不一樣。在目前已有的方案中均是依據(jù)機(jī)械盤的權(quán)重調(diào)整主放置組，并未考慮緩存盤的影響，這對于集群的性能造成了一定的浪費(fèi)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例的目的在于提出一種主放置組均衡優(yōu)化的方法、系統(tǒng)、計算機(jī)設(shè)備及計算機(jī)可讀存儲介質(zhì)，通過計算對象存儲設(shè)備的權(quán)重來計算預(yù)期均衡主放置組的個數(shù)，并基于每個放置組的地址和對象存儲設(shè)備的地址得到對應(yīng)的基值，將基值與預(yù)定值相比確定是否為主放置組，從而優(yōu)化系統(tǒng)性能。

基于上述目的，本發(fā)明實(shí)施例的一方面提供了一種主放置組均衡優(yōu)化的方法，包括如下步驟：根據(jù)緩存盤的總?cè)萘亢蛯ο蟠鎯υO(shè)備的總個數(shù)得到理論平均值；基于對象存儲設(shè)備占用的實(shí)際容量與所述理論平均值得到所述對象存儲設(shè)備對應(yīng)的權(quán)重；獲取當(dāng)前主放置組的總個數(shù)，并基于所述當(dāng)前主放置組的總個數(shù)和所述對象存儲設(shè)備對應(yīng)的權(quán)重得到預(yù)期均衡主放置組的數(shù)量；讀取冗余組里的每個放置組的地址，基于每個所述放置組的地址和所述對象存儲設(shè)備的地址得到對應(yīng)的基值，響應(yīng)于所述基值小于預(yù)定值，將所述放置組作為主放置組；重復(fù)上一步驟直到主放置組的數(shù)量達(dá)到所述預(yù)期均衡主放置組的數(shù)量。

在一些實(shí)施方式中，所述基于對象存儲設(shè)備占用的實(shí)際容量與所述理論平均值得到所述對象存儲設(shè)備對應(yīng)的權(quán)重包括：基于單個緩存盤的容量和單個緩存盤對應(yīng)的緩存?zhèn)€數(shù)得到每個對象存儲設(shè)備占用的實(shí)際容量。

在一些實(shí)施方式中，所述基于所述當(dāng)前主放置組的總個數(shù)和所述對象存儲設(shè)備對應(yīng)的權(quán)重得到預(yù)期均衡主放置組的數(shù)量包括：以所述當(dāng)前主放置組的總個數(shù)除以所述對象存儲設(shè)備的總個數(shù)以得到平均數(shù)；用所述平均數(shù)乘以所述對象存儲設(shè)備對應(yīng)的權(quán)重得到預(yù)期均衡主放置組的數(shù)量。

在一些實(shí)施方式中，所述基于每個所述放置組的地址和所述對象存儲設(shè)備的地址得到對應(yīng)的基值包括：通過哈希算法對所述放置組的地址和所述對象存儲設(shè)備的地址計算以得到第一值，對所述第一值右移運(yùn)算符并取最高的十六位。