[發(fā)明專利]一種基于CRUSH的數(shù)據(jù)存儲(chǔ)優(yōu)化方法和裝置

有效

• 申請?zhí)枺?/td>: 201810573067.2
• 申請日: 2018-06-06
• 公開（公告）號(hào): CN108920095B
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 陳希;陳俊雄;楊世登;吳志力
• 申請（專利權(quán)）人: 深圳市脈山龍信息技術(shù)股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 深圳市順天達(dá)專利商標(biāo)代理有限公司 44217
• 代理人: 郭偉剛;車大瑩

1.一種基于CRUSH的數(shù)據(jù)存儲(chǔ)優(yōu)化方法，其特征在于，包括以下步驟：

根據(jù)數(shù)據(jù)特征對多個(gè)目標(biāo)數(shù)據(jù)進(jìn)行分類存儲(chǔ)；

根據(jù)所述目標(biāo)數(shù)據(jù)所屬的類型，調(diào)整CRUSH策略；

根據(jù)所述目標(biāo)數(shù)據(jù)所屬的類型，優(yōu)化寫操作映射關(guān)系；

根據(jù)調(diào)整后的CRUSH策略和優(yōu)化后的寫操作映射關(guān)系，將多個(gè)目標(biāo)數(shù)據(jù)存儲(chǔ)到相應(yīng)的磁盤；

在根據(jù)數(shù)據(jù)特征對多個(gè)目標(biāo)數(shù)據(jù)進(jìn)行分類存儲(chǔ)的步驟中，如果所述目標(biāo)數(shù)據(jù)為對事務(wù)有強(qiáng)一致性要求的數(shù)據(jù)，則將所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)為第一類型數(shù)據(jù)；如果所述目標(biāo)數(shù)據(jù)需要記錄的日志數(shù)據(jù)小于預(yù)設(shè)值，則將所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)為第二類型數(shù)據(jù)；如果所述目標(biāo)數(shù)據(jù)不需要寫日志，則將所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)為第三類型數(shù)據(jù)；

在根據(jù)所述目標(biāo)數(shù)據(jù)所屬的類型，優(yōu)化寫操作映射關(guān)系的所述步驟中，如果所述目標(biāo)數(shù)據(jù)為第一類型數(shù)據(jù)，則將寫操作記錄保存到日志記錄中；如果所述目標(biāo)數(shù)據(jù)為第二類型數(shù)據(jù)，則將寫操作記錄保存到日志延遲寫入記錄中；如果所述目標(biāo)數(shù)據(jù)為第三類型數(shù)據(jù)，則將寫操作記錄更新到Object上；

在根據(jù)所述目標(biāo)數(shù)據(jù)所屬的類型，調(diào)整CRUSH策略的所述步驟中，將同一類型的目標(biāo)數(shù)據(jù)放到指定區(qū)域，并且根據(jù)所述目標(biāo)數(shù)據(jù)的用途以及重要等級(jí)指定副本集個(gè)數(shù)以及機(jī)架位置。

2.一種基于CRUSH的數(shù)據(jù)存儲(chǔ)優(yōu)化裝置，其特征在于，包括：

分類模塊，用于根據(jù)數(shù)據(jù)特征對多個(gè)目標(biāo)數(shù)據(jù)進(jìn)行分類存儲(chǔ)；

調(diào)整模塊，用于根據(jù)所述目標(biāo)數(shù)據(jù)所屬的類型，調(diào)整CRUSH策略；

優(yōu)化模塊，用于根據(jù)所述目標(biāo)數(shù)據(jù)所屬的類型，優(yōu)化寫操作映射關(guān)系；

存儲(chǔ)模塊，用于根據(jù)調(diào)整后的CRUSH策略和優(yōu)化后的寫操作映射關(guān)系，將多個(gè)目標(biāo)數(shù)據(jù)存儲(chǔ)到相應(yīng)的磁盤；

如果所述目標(biāo)數(shù)據(jù)為對事務(wù)有強(qiáng)一致性要求的數(shù)據(jù)，則所述分類模塊將所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)為第一類型數(shù)據(jù)；如果所述目標(biāo)數(shù)據(jù)需要記錄的日志數(shù)據(jù)小于預(yù)設(shè)值，則所述分類模塊將所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)為第二類型數(shù)據(jù)；如果所述目標(biāo)數(shù)據(jù)不需要寫日志，則所述分類模塊將所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)為第三類型數(shù)據(jù)；

如果所述目標(biāo)數(shù)據(jù)為第一類型數(shù)據(jù)，則所述優(yōu)化模塊將寫操作記錄保存到日志記錄中；如果所述目標(biāo)數(shù)據(jù)為第二類型數(shù)據(jù)，則所述優(yōu)化模塊將寫操作記錄保存到日志延遲寫入記錄中；如果所述目標(biāo)數(shù)據(jù)為第三類型數(shù)據(jù)，則所述優(yōu)化模塊將寫操作記錄更新到Object上；

所述調(diào)整模塊將同一類型的目標(biāo)數(shù)據(jù)放到指定區(qū)域，并且根據(jù)所述目標(biāo)數(shù)據(jù)的用途以及重要等級(jí)指定副本集個(gè)數(shù)以及機(jī)架位置。