[發(fā)明專利]數(shù)據(jù)重構(gòu)控制方法、裝置和設(shè)備

有效

• 申請?zhí)枺?/td>: 201811072330.6
• 申請日: 2018-09-14
• 公開（公告）號: CN109344012B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 張?zhí)鞚?/a>
• 申請（專利權(quán)）人: 新華三技術(shù)有限公司成都分公司
• 主分類號: G06F11/16
• 分類號: G06F11/16;G06F3/06
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 蘇勝

1.一種數(shù)據(jù)重構(gòu)控制方法，其特征在于，應(yīng)用于分布式存儲集群中的磁盤或集中式存儲集群中的控制器，所述方法包括：

根據(jù)當(dāng)前集群中的數(shù)據(jù)塊的冗余程度確定所述數(shù)據(jù)塊的持久性級別；所述數(shù)據(jù)塊的冗余程度與所述數(shù)據(jù)塊的持久性級別成正比關(guān)系；

按照預(yù)設(shè)的I/O資源分配原則和所述持久性級別控制重構(gòu)所述數(shù)據(jù)塊的磁盤的I/O資源；其中，所述預(yù)設(shè)的I/O資源分配原則中，持久性級別與磁盤分配的I/O資源成反比關(guān)系。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)當(dāng)前集群中的數(shù)據(jù)塊的冗余程度確定所述數(shù)據(jù)塊的持久性級別的步驟，包括：

如果當(dāng)前集群為采用副本機制的集群，根據(jù)當(dāng)前數(shù)據(jù)塊的副本個數(shù)確定所述數(shù)據(jù)塊的持久性級別；

如果當(dāng)前集群為采用糾刪碼機制的集群，計算當(dāng)前數(shù)據(jù)塊的源數(shù)據(jù)的校驗塊總數(shù)減去丟失的數(shù)據(jù)塊數(shù)的差值，根據(jù)得到的差值確定所述數(shù)據(jù)塊的持久性級別。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)當(dāng)前集群中的數(shù)據(jù)塊的冗余程度確定所述數(shù)據(jù)塊的持久性級別的步驟之前，所述方法還包括：

如果監(jiān)測到當(dāng)前集群中有失效事件，獲取所述集群中各個數(shù)據(jù)塊的冗余程度；其中，所述失效事件包括以下至少之一：所述集群中的磁盤失效、所述集群中的節(jié)點失效和所述集群中的網(wǎng)絡(luò)失效。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

監(jiān)測當(dāng)前集群中各個數(shù)據(jù)塊的冗余程度；

根據(jù)監(jiān)測到的所述數(shù)據(jù)塊的冗余程度，判斷所述數(shù)據(jù)塊的冗余程度是否發(fā)生變化；

如果是，使用所述數(shù)據(jù)塊變化后的冗余程度調(diào)整所述數(shù)據(jù)塊的持久性級別，并按照所述預(yù)設(shè)的I/O資源分配原則和調(diào)整后的持久性級別控制重構(gòu)所述數(shù)據(jù)塊的磁盤的I/O資源。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，按照預(yù)設(shè)的I/O資源分配原則和所述持久性級別控制重構(gòu)所述數(shù)據(jù)塊的磁盤的I/O資源的步驟，包括：

使用所述持久性級別查找預(yù)設(shè)的I/O資源分配原則中的重構(gòu)策略對應(yīng)關(guān)系，得到重構(gòu)所述數(shù)據(jù)塊的磁盤的I/O資源占比，其中，所述重構(gòu)策略對應(yīng)關(guān)系中的持久性級別與磁盤的I/O資源占比成反比關(guān)系；

按照查找到的所述磁盤的I/O資源占比控制所述磁盤對所述數(shù)據(jù)塊進(jìn)行重構(gòu)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，按照查找到的所述磁盤的I/O資源占比控制所述磁盤對所述數(shù)據(jù)塊進(jìn)行重構(gòu)的步驟，包括：

設(shè)置所述磁盤的限制性指標(biāo)參數(shù)，以使所述磁盤用于所述數(shù)據(jù)塊重構(gòu)的I/O資源占所述磁盤的I/O總資源的比例等于查找到的所述I/O資源占比；其中，所述限制性指標(biāo)參數(shù)包括以下至少之一：每秒進(jìn)行讀寫I/O操作的次數(shù)IOPS、磁盤帶寬、參與所述數(shù)據(jù)塊重構(gòu)的磁盤數(shù)量和參與所述數(shù)據(jù)塊重構(gòu)的進(jìn)程數(shù)量。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述重構(gòu)策略對應(yīng)關(guān)系包括三個持久性級別與磁盤的I/O資源占比的對應(yīng)關(guān)系；其中，所述對應(yīng)關(guān)系包括：持久性級別為危急級別時對應(yīng)的磁盤的I/O資源占比所屬的第一區(qū)間、持久性級別為一般級別時對應(yīng)的磁盤的I/O資源占比所屬的第二區(qū)間和持久性級別為輕微級別時對應(yīng)的磁盤的I/O資源占比所屬的第三區(qū)間，所述第一區(qū)間、所述第二區(qū)間和所述第三區(qū)間為預(yù)先設(shè)定的在0至1范圍內(nèi)的區(qū)間。

8.一種數(shù)據(jù)重構(gòu)控制裝置，其特征在于，應(yīng)用于分布式存儲集群中的磁盤或集中式存儲集群中的控制器，包括：

持久性級別確定模塊，用于根據(jù)當(dāng)前集群中的數(shù)據(jù)塊的冗余程度確定所述數(shù)據(jù)塊的持久性級別；所述數(shù)據(jù)塊的冗余程度與所述數(shù)據(jù)塊的持久性級別成正比關(guān)系；

I/O資源控制模塊，用于按照預(yù)設(shè)的I/O資源分配原則和所述持久性級別控制重構(gòu)所述數(shù)據(jù)塊的磁盤的I/O資源；其中，所述預(yù)設(shè)的I/O資源分配原則中，持久性級別與磁盤分配的I/O資源成反比關(guān)系。