[發(fā)明專利]一種數(shù)據(jù)存儲方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202210852424.5
• 申請日: 2022-07-19
• 公開（公告）號: CN115454328A
• 公開（公告）日: 2022-12-09
• 發(fā)明（設(shè)計）人: 于勝強(qiáng)
• 申請（專利權(quán)）人: 新華三技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 陳剛

本說明書公開了一種數(shù)據(jù)存儲方法、裝置及電子設(shè)備，能夠?qū)崿F(xiàn)數(shù)據(jù)均衡存儲，優(yōu)化用戶體驗。所述方法應(yīng)用于名稱節(jié)點(diǎn)，所述名稱節(jié)點(diǎn)存儲有用于表征數(shù)據(jù)節(jié)點(diǎn)的存儲利用率以及數(shù)據(jù)節(jié)點(diǎn)中多個數(shù)據(jù)磁盤的磁盤利用率的存儲報告信息；所述方法包括：從客戶端接收目標(biāo)數(shù)據(jù)的數(shù)據(jù)寫入請求；根據(jù)所述存儲利用率從多個所述數(shù)據(jù)節(jié)點(diǎn)中選取確定目標(biāo)數(shù)據(jù)節(jié)點(diǎn)；根據(jù)所述磁盤利用率在所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)中選取確定目標(biāo)數(shù)據(jù)磁盤；根據(jù)所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)與所述目標(biāo)數(shù)據(jù)磁盤確定目標(biāo)存儲地址；將所述目標(biāo)存儲地址發(fā)送至所述客戶端，以使所述客戶端按所述目標(biāo)存儲地址對所述目標(biāo)數(shù)據(jù)進(jìn)行存儲。所述裝置及電子設(shè)備用于執(zhí)行所述數(shù)據(jù)存儲方法。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)存儲方法、裝置及電子設(shè)備。

背景技術(shù)

Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System，簡稱HDFS)是一種高容錯性的分布式存儲系統(tǒng)，隨著業(yè)務(wù)擴(kuò)展HDFS系統(tǒng)中不同數(shù)據(jù)節(jié)點(diǎn)的使用率以及同數(shù)據(jù)節(jié)點(diǎn)中不同磁盤的使用率會出現(xiàn)差異，系統(tǒng)穩(wěn)定性、容錯性以及存儲性能都會受到影響。因此需要對HDFS系統(tǒng)進(jìn)行數(shù)據(jù)均衡。

HDFS系統(tǒng)原生數(shù)據(jù)均衡方法中，人工定期對節(jié)點(diǎn)磁盤數(shù)據(jù)以及集群節(jié)點(diǎn)數(shù)據(jù)進(jìn)行數(shù)據(jù)均均衡，數(shù)據(jù)均衡時對已寫入的數(shù)據(jù)進(jìn)行遷移調(diào)整。這樣的方式運(yùn)維成本高，且需要占用大量的網(wǎng)絡(luò)資源，對于數(shù)據(jù)規(guī)模較大的HDFS系統(tǒng)，數(shù)據(jù)均衡時間長、效率低，占用正常數(shù)據(jù)業(yè)務(wù)時間，影響用戶使用體驗。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)存儲方法、裝置及電子設(shè)備，能夠降低運(yùn)維成本，提高數(shù)據(jù)均衡效率，優(yōu)化用戶體驗。

在第一方面，本說明書實(shí)施例提供了一種數(shù)據(jù)存儲方法。

所述方法應(yīng)用于名稱節(jié)點(diǎn)，所述名稱節(jié)點(diǎn)存儲有多個數(shù)據(jù)節(jié)點(diǎn)的存儲報告信息，所述存儲報告信息用于表征所述數(shù)據(jù)節(jié)點(diǎn)的存儲利用率以及所述數(shù)據(jù)節(jié)點(diǎn)中多個數(shù)據(jù)磁盤的磁盤利用率。所述方法包括：

從客戶端接收目標(biāo)數(shù)據(jù)的數(shù)據(jù)寫入請求；

根據(jù)所述存儲利用率從多個所述數(shù)據(jù)節(jié)點(diǎn)中選取確定目標(biāo)數(shù)據(jù)節(jié)點(diǎn)；

根據(jù)所述磁盤利用率在所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)中選取確定目標(biāo)數(shù)據(jù)磁盤；

根據(jù)所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)與所述目標(biāo)數(shù)據(jù)磁盤確定目標(biāo)存儲地址；

將所述目標(biāo)存儲地址發(fā)送至所述客戶端，以使所述客戶端按所述目標(biāo)存儲地址對所述目標(biāo)數(shù)據(jù)進(jìn)行存儲。

可選的，所述根據(jù)所述存儲利用率從多個所述數(shù)據(jù)節(jié)點(diǎn)中選取確定目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，包括：

選取所述存儲利用率最低的數(shù)據(jù)節(jié)點(diǎn)作為所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)。

可選的，所述方法在從客戶端接收目標(biāo)數(shù)據(jù)的數(shù)據(jù)寫入請求后，還包括：

根據(jù)所述數(shù)據(jù)寫入請求確定待寫入副本數(shù)；

所述根據(jù)所述存儲利用率從多個所述數(shù)據(jù)節(jié)點(diǎn)中選取確定目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，包括：

根據(jù)所述存儲利用率選取與所述待寫入副本數(shù)相對應(yīng)的多個所述數(shù)據(jù)節(jié)點(diǎn)作為所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)。

可選的，多個所述數(shù)據(jù)節(jié)點(diǎn)相應(yīng)的多項所述存儲報告信息按所述存儲利用率從小到達(dá)排序構(gòu)成存儲報告序列；

所述根據(jù)所述存儲利用率選取與所述待寫入副本數(shù)相對應(yīng)的多個所述數(shù)據(jù)節(jié)點(diǎn)作為所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，包括：

從所述存儲報告序列的第一項開始，選取與所述待寫入副本數(shù)相應(yīng)的多項所述存儲報告信息；

將與所述待寫入副本數(shù)相應(yīng)的多項所述存儲報告信息所對應(yīng)的多個所述數(shù)據(jù)節(jié)點(diǎn)作為所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)。

可選的，所述根據(jù)所述磁盤利用率在所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)中選取確定目標(biāo)數(shù)據(jù)磁盤，包括：