[發(fā)明專利]一種元數(shù)據(jù)負(fù)載均衡方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202310161610.9
• 申請(qǐng)日: 2023-02-24
• 公開（公告）號(hào): CN115952005B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 臧林劼
• 申請(qǐng)（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F16/11;G06F16/16;G06F16/182
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王曉坤

本發(fā)明公開了一種元數(shù)據(jù)負(fù)載均衡方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，涉及分布式存儲(chǔ)技術(shù)領(lǐng)域，包括：獲取分布式文件存儲(chǔ)集群中各元數(shù)據(jù)服務(wù)分別對(duì)應(yīng)的元數(shù)據(jù)負(fù)載壓力信息；根據(jù)各元數(shù)據(jù)負(fù)載壓力信息確定元數(shù)據(jù)遷移時(shí)刻、待元數(shù)據(jù)遷移的各目標(biāo)元數(shù)據(jù)服務(wù)及各目標(biāo)元數(shù)據(jù)服務(wù)之間的待遷移元數(shù)據(jù)數(shù)量；獲取各目標(biāo)元數(shù)據(jù)服務(wù)中各子樹分區(qū)分別對(duì)應(yīng)的遷移參數(shù)；根據(jù)各遷移參數(shù)確定導(dǎo)出子樹分區(qū)和導(dǎo)入子樹分區(qū)；當(dāng)達(dá)到元數(shù)據(jù)遷移時(shí)刻時(shí)，將待遷移元數(shù)據(jù)數(shù)量的元數(shù)據(jù)從導(dǎo)出子樹分區(qū)遷移至導(dǎo)入子樹分區(qū)。本發(fā)明提升了對(duì)業(yè)務(wù)負(fù)載特征的辨識(shí)度，較大地降低了產(chǎn)生對(duì)元數(shù)據(jù)進(jìn)行不必要、無效的遷移的概率，具有較好的元數(shù)據(jù)負(fù)載均衡特性。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)技術(shù)領(lǐng)域，特別是涉及一種元數(shù)據(jù)負(fù)載均衡方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

分布式文件存儲(chǔ)系統(tǒng)已被廣泛應(yīng)用于大數(shù)據(jù)服務(wù)計(jì)算等許多關(guān)鍵領(lǐng)域，在分布式文件存儲(chǔ)系統(tǒng)中，元數(shù)據(jù)與數(shù)據(jù)分開管理。這種解耦方式支持元數(shù)據(jù)和數(shù)據(jù)相互獨(dú)立，采用不同的存儲(chǔ)介質(zhì)，例如，采用NvmeSSD（NVM?Express?Solid?State?Disk，非易失性內(nèi)存主機(jī)控制器接口規(guī)范固態(tài)硬盤）存儲(chǔ)元數(shù)據(jù)，使用HDD（Hard?Disk?Drive，機(jī)械硬盤）存儲(chǔ)數(shù)據(jù)。在這種架構(gòu)中，必須先獲取元數(shù)據(jù)，然后再進(jìn)行實(shí)際數(shù)據(jù)訪問。最近的研究表明，許多文件系統(tǒng)工作負(fù)載是元數(shù)據(jù)密集型的，即超過60%的文件系統(tǒng)操作集中在元數(shù)據(jù)上。此外，絕大多數(shù)文件都很小，字節(jié)級(jí)占比較高，元數(shù)據(jù)請(qǐng)求壓力不均衡，元數(shù)據(jù)密集訪問是造成文件系統(tǒng)服務(wù)性能瓶頸重要原因，所有這些趨勢使元數(shù)據(jù)負(fù)載均衡變得至關(guān)重要。

為了提高海量分布式文件系統(tǒng)元數(shù)據(jù)訪問性能，擴(kuò)展和提高分布式MDS（MetadataServer，元數(shù)據(jù)服務(wù)）集群的性能具有挑戰(zhàn)性。該挑戰(zhàn)主要是因?yàn)樵獢?shù)據(jù)包含文件系統(tǒng)結(jié)構(gòu)信息，并且表現(xiàn)出更高程度的相互依賴性，當(dāng)前技術(shù)下，通常采用動(dòng)態(tài)子樹分區(qū)的方法，將文件系統(tǒng)的目錄分解為幾個(gè)子目錄，然后根據(jù)文件訪問熱度情況進(jìn)行動(dòng)態(tài)調(diào)整。動(dòng)態(tài)調(diào)整是指在多個(gè)元數(shù)據(jù)服務(wù)之間進(jìn)行遷移，該方法通過拆分以及分層命名空間方式在多個(gè)元數(shù)據(jù)服務(wù)之間分發(fā)子樹來提高元數(shù)據(jù)擴(kuò)展特性。然而，這種方法存在嚴(yán)重的不均衡問題，分布式元數(shù)據(jù)服務(wù)不平衡、預(yù)測不準(zhǔn)確。究其原因，該方法對(duì)業(yè)務(wù)負(fù)載特征辨識(shí)度低，易產(chǎn)生對(duì)元數(shù)據(jù)進(jìn)行不必要、無效的遷移，導(dǎo)致分布式文件系統(tǒng)性能不佳。

綜上所述，如何有效地解決現(xiàn)有的元數(shù)據(jù)負(fù)載均衡方法對(duì)業(yè)務(wù)負(fù)載特征辨識(shí)度低，易產(chǎn)生對(duì)元數(shù)據(jù)進(jìn)行不必要、無效的遷移，導(dǎo)致分布式文件系統(tǒng)性能不佳等問題，是目前本領(lǐng)域技術(shù)人員急需解決的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種元數(shù)據(jù)負(fù)載均衡方法，該方法提升了對(duì)業(yè)務(wù)負(fù)載特征的辨識(shí)度，較大地降低了產(chǎn)生對(duì)元數(shù)據(jù)進(jìn)行不必要、無效的遷移的概率，具有較好的元數(shù)據(jù)負(fù)載均衡特性，提升了分布式存儲(chǔ)系統(tǒng)的穩(wěn)定性；本發(fā)明的另一目的是提供一種元數(shù)據(jù)負(fù)載均衡裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

一種元數(shù)據(jù)負(fù)載均衡方法，包括：

獲取分布式文件存儲(chǔ)集群中各元數(shù)據(jù)服務(wù)分別對(duì)應(yīng)的元數(shù)據(jù)負(fù)載壓力信息；

根據(jù)各所述元數(shù)據(jù)負(fù)載壓力信息確定元數(shù)據(jù)遷移時(shí)刻、待元數(shù)據(jù)遷移的各目標(biāo)元數(shù)據(jù)服務(wù)及各所述目標(biāo)元數(shù)據(jù)服務(wù)之間的待遷移元數(shù)據(jù)數(shù)量；

獲取各所述目標(biāo)元數(shù)據(jù)服務(wù)中各子樹分區(qū)分別對(duì)應(yīng)的遷移參數(shù)；

根據(jù)各所述遷移參數(shù)確定導(dǎo)出子樹分區(qū)和導(dǎo)入子樹分區(qū)；

當(dāng)達(dá)到所述元數(shù)據(jù)遷移時(shí)刻時(shí)，將所述待遷移元數(shù)據(jù)數(shù)量的元數(shù)據(jù)從所述導(dǎo)出子樹分區(qū)遷移至所述導(dǎo)入子樹分區(qū)。

在本發(fā)明的一種具體實(shí)施方式中，獲取分布式文件存儲(chǔ)集群中各元數(shù)據(jù)服務(wù)分別對(duì)應(yīng)的元數(shù)據(jù)負(fù)載壓力信息，包括：

通過部署于所述分布式文件存儲(chǔ)集群中各所述元數(shù)據(jù)服務(wù)的負(fù)載監(jiān)視器獲取各所述元數(shù)據(jù)服務(wù)分別對(duì)應(yīng)的元數(shù)據(jù)負(fù)載壓力信息。