[發(fā)明專利]數(shù)據(jù)存儲的方法、裝置、存儲介質(zhì)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202011492479.7
• 申請日: 2020-12-16
• 公開（公告）號: CN112596671A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計）人: 劉峰;牟童;王詩鈞;金鑄;何光宇
• 申請（專利權(quán)）人: 東軟集團股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 盧夏子

1.一種數(shù)據(jù)存儲的方法，其特征在于，所述方法包括：

在對分布式文件系統(tǒng)HDFS中的多個預設(shè)數(shù)據(jù)節(jié)點增加磁盤后，獲取所述HDFS中每個磁盤當前時刻的磁盤性能參數(shù)；

根據(jù)所述磁盤性能參數(shù)確定每個磁盤的存儲優(yōu)先級得分，并根據(jù)所述存儲優(yōu)先級得分從所述HDFS中的多個所述磁盤中確定目標磁盤；

獲取所述HDFS中已經(jīng)寫入的至少一個數(shù)據(jù)塊；

針對每個數(shù)據(jù)塊，確定該數(shù)據(jù)塊中的數(shù)據(jù)文件，在所述目標磁盤中未存儲所述數(shù)據(jù)文件的情況下，將該數(shù)據(jù)塊存儲至所述目標磁盤，不同的磁盤存儲不同的數(shù)據(jù)文件。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述磁盤性能參數(shù)包括磁盤已占用吞吐量、磁盤最大吞吐量、磁盤吞吐量容許空間、磁盤已占用容量、磁盤最大容量以及磁盤容量容許空間，所述根據(jù)所述磁盤性能參數(shù)確定每個磁盤的存儲優(yōu)先級得分包括：

針對每個所述磁盤，根據(jù)該磁盤的所述磁盤已占用吞吐量、所述磁盤最大吞吐量以及所述磁盤吞吐量容許空間確定該磁盤的磁盤吞吐余量占用比，并根據(jù)該磁盤的所述磁盤已占用容量、所述磁盤最大容量以及所述磁盤容量容許空間確定該磁盤的磁盤容量余量占用比；

根據(jù)所述磁盤吞吐余量占用比和所述磁盤容量余量占用比確定該磁盤的所述存儲優(yōu)先級得分。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述存儲優(yōu)先級得分從所述HDFS中的多個所述磁盤中確定目標磁盤包括：

根據(jù)所述存儲優(yōu)先級得分生成采樣帶，所述采樣帶包括多個依次連接的預設(shè)分段，所述預設(shè)分段與所述磁盤一一對應，每個所述預設(shè)分段的長度為對應磁盤的存儲優(yōu)先級得分，并且不同的所述預設(shè)分段對應多個不同的預設(shè)采樣點；

生成[0,N]區(qū)間內(nèi)的隨機數(shù)，所述N為所述預設(shè)采樣點的個數(shù)，并且所述預設(shè)采樣點個數(shù)遠遠大于所述HDFS中磁盤的個數(shù)；

根據(jù)所述采樣帶和所述隨機數(shù)從多個所述預設(shè)分段中確定目標分段，并將所述目標分段對應的磁盤作為所述目標磁盤。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述采樣帶和所述隨機數(shù)從多個所述預設(shè)分段中確定目標分段包括：

根據(jù)所述采樣帶，將多個所述預設(shè)分段中所述隨機數(shù)對應的預設(shè)分段作為所述目標分段。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述采樣帶和所述隨機數(shù)從多個所述預設(shè)分段中確定目標分段包括：

根據(jù)所述預設(shè)采樣點的個數(shù)和所述HDFS中所述磁盤的個數(shù)確定所述采樣帶中每個預設(shè)分段對應的平均采樣點個數(shù)；

以所述隨機數(shù)為期望，以所述平均采樣點個數(shù)的二分之一為方差建立高斯分布模型，并根據(jù)所述高斯分布模型和預設(shè)隨機數(shù)生成模型從所述采樣帶中確定目標采樣點集，所述目標采樣點集包括多個連續(xù)的預設(shè)采樣點；

從所述目標采樣點集中隨機選取任一預設(shè)采樣點為目標采樣點，并將所述目標采樣點對應的預設(shè)分段作為所述目標分段。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將該數(shù)據(jù)塊存儲至所述目標磁盤之后，所述方法還包括：

對所述目標磁盤進行標記，以便標記所述目標磁盤中存儲有該數(shù)據(jù)塊。

7.根據(jù)權(quán)利要求1至6任一項所述的方法，其特征在于，所述方法還包括：

在對多個所述預設(shè)數(shù)據(jù)節(jié)點增加磁盤時，將所述HDFS中存儲的每個數(shù)據(jù)文件的文件副本的數(shù)量降低至第一預設(shè)數(shù)量。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，在所述獲取所述HDFS中已經(jīng)寫入的至少一個數(shù)據(jù)塊之前，所述方法還包括：

在對多個所述預設(shè)數(shù)據(jù)節(jié)點完成存儲擴容后，針對每個數(shù)據(jù)文件，重新復制該數(shù)據(jù)文件得到第二預設(shè)數(shù)量的所述文件副本，所述第一預設(shè)數(shù)量與所述第二預設(shè)數(shù)量的和等于該數(shù)據(jù)文件的原始數(shù)量；

所述獲取所述HDFS中已經(jīng)寫入的至少一個數(shù)據(jù)塊包括：

從所述第二預設(shè)數(shù)量的文件副本對應的數(shù)據(jù)塊中獲取至少一個所述數(shù)據(jù)塊。