[發(fā)明專利]分布式對象存儲系統(tǒng)的遷移速度控制方法、裝置及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010864936.4
• 申請日: 2020-08-25
• 公開（公告）號: CN111966301B
• 公開（公告）日: 2023-01-10
• 發(fā)明（設(shè)計）人: 趙煜;胡永剛
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 劉新雷

本申請公開了一種分布式對象存儲系統(tǒng)的分級存儲遷移速度控制方法、裝置及計算機(jī)可讀存儲介質(zhì)。其中，方法包括根據(jù)采集的前端用戶IO處理時延數(shù)據(jù)計算當(dāng)前周期的實(shí)時時延；基于前端IO并發(fā)速度的目標(biāo)設(shè)置值計算相匹配的時延值，作為基準(zhǔn)時延。根據(jù)預(yù)設(shè)速度調(diào)整規(guī)則，基于實(shí)時時延和基準(zhǔn)時延的數(shù)值大小關(guān)系計算冷熱池在當(dāng)前周期的遷移速度值；根據(jù)冷熱池中的遷移模塊總數(shù)和遷移速度值確定每個遷移模塊遷移數(shù)據(jù)的最大速度值，并基于各遷移模塊的最大速度值控制冷熱池的遷移速度，從而可有效控制分布式對象存儲系統(tǒng)中各級存儲區(qū)的數(shù)據(jù)遷移速度，保證數(shù)據(jù)遷移不影響用戶請求的處理速度。

技術(shù)領(lǐng)域

本申請涉及分布式存儲技術(shù)領(lǐng)域，特別是涉及一種分布式對象存儲系統(tǒng)的分級存儲遷移速度控制方法、裝置及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

分布式對象存儲系統(tǒng)是由多臺對象存儲服務(wù)器組成的分布式存儲集群，用于處理海量、高并發(fā)的存儲服務(wù)請求，由于具有高可靠性，高可用性，快速存取，易于擴(kuò)展等優(yōu)點(diǎn)而被廣泛應(yīng)用。

目前分布式對象存儲系統(tǒng)中大量采用的還是HDD(Hard Disk Drive，硬盤驅(qū)動器)機(jī)械硬盤，但是隨著新的存儲介質(zhì)如SSD(Solid State Drives，簡稱固盤，固態(tài)硬盤)和NVME SSD(Non-Volatile Memory express Solid State Drives)價格的下降，存儲系統(tǒng)也開始配置了一些SSD硬盤替代HDD作為存儲介質(zhì)，在這種配置情況下，如何充分發(fā)揮快速存儲介質(zhì)如SSD的性能優(yōu)勢，而又保留HDD的容量優(yōu)勢，兼顧系統(tǒng)性能和成本，就成為了存儲系統(tǒng)設(shè)計要解決的問題。

相關(guān)技術(shù)對于采用不同存儲介質(zhì)的存儲系統(tǒng)中，采用根據(jù)數(shù)據(jù)的冷熱程度、不同屬性來確定文件數(shù)據(jù)存在不同的介質(zhì)中，以實(shí)現(xiàn)利用快速的存儲介質(zhì)的性能優(yōu)勢，又能利用慢速介質(zhì)的容量優(yōu)勢的目的。在分布式對象存儲系統(tǒng)的分級存儲中，設(shè)置了兩個存儲池即熱池和冷池，熱池由SSD快速硬盤組成，冷池由HDD慢速硬盤組成。當(dāng)數(shù)據(jù)寫入時，會先寫入熱池，然后熱池數(shù)據(jù)在變冷后會遷移到冷池，在實(shí)際的測試過程中，就會出現(xiàn)一個問題，數(shù)據(jù)的遷移過程由于要消耗設(shè)備的CPU(Central Processing Unit，中央處理器)和帶寬、IO資源，如果遷移速度過快就會影響前端用戶寫數(shù)據(jù)到存儲池的速度，遷移速度太慢，還有可能會出現(xiàn)熱池數(shù)據(jù)太多而無法成功寫入新數(shù)據(jù)的情況。

鑒于此，如何控制冷熱池之間的數(shù)據(jù)遷移速度，使得冷熱池的數(shù)據(jù)遷移不影響用戶請求的處理速度，是所屬領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N分布式對象存儲系統(tǒng)的分級存儲遷移速度控制方法、裝置及計算機(jī)可讀存儲介質(zhì)，有效控制分布式對象存儲系統(tǒng)中各級存儲區(qū)的數(shù)據(jù)遷移速度，保證數(shù)據(jù)遷移不影響用戶請求的處理速度。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供以下技術(shù)方案：

本發(fā)明實(shí)施例一方面提供了一種分布式對象存儲系統(tǒng)的分級存儲遷移速度控制方法，包括：

根據(jù)采集的前端用戶IO處理時延數(shù)據(jù)計算當(dāng)前周期的實(shí)時時延；

基于前端IO并發(fā)速度的目標(biāo)設(shè)置值計算相匹配的時延值，以作為基準(zhǔn)時延；

根據(jù)預(yù)設(shè)速度調(diào)整規(guī)則，基于所述實(shí)時時延和所述基準(zhǔn)時延的數(shù)值關(guān)系計算冷熱池在所述當(dāng)前周期的遷移速度值；

根據(jù)所述冷熱池中的遷移模塊總數(shù)和所述遷移速度值確定每個遷移模塊遷移數(shù)據(jù)的最大速度值，并基于各遷移模塊的最大速度值控制所述冷熱池的遷移速度。

可選的，所述基于各遷移模塊的最大速度值控制所述冷熱池的遷移速度包括：

對所述冷熱池中的每個遷移模塊，獲取當(dāng)前遷移模塊遷移一個數(shù)據(jù)所需的實(shí)時時間；

若所述實(shí)時時間值小于最小目標(biāo)控制時間，發(fā)送所述當(dāng)前遷移模塊停止工作的指令，且所述指令中攜帶停止工作時間；