[發明專利]數據存儲的方法、裝置、存儲介質及電子設備

在審

• 申請號: 202011492479.7
• 申請日: 2020-12-16
• 公開（公告）號: CN112596671A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 劉峰;牟童;王詩鈞;金鑄;何光宇
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 盧夏子

本公開涉及一種數據存儲的方法、裝置、存儲介質及電子設備，可以在對分布式文件系統HDFS中的多個預設數據節點增加磁盤后，獲取所述HDFS中每個磁盤當前時刻的磁盤性能參數；根據所述磁盤性能參數確定每個磁盤的存儲優先級得分，并根據所述存儲優先級得分從所述HDFS中的多個所述磁盤中確定目標磁盤；獲取所述HDFS中已經寫入的至少一個數據塊；針對每個數據塊，確定該數據塊中的數據文件，在所述目標磁盤中未存儲所述數據文件的情況下，將該數據塊存儲至所述目標磁盤，不同的磁盤存儲不同的數據文件。

技術領域

本公開涉及分布式文件系統中的數據存儲領域，具體地，涉及一種數據存儲的方法、裝置、存儲介質及電子設備。

背景技術

隨著全民的健康信息服務和智慧醫療服務的提出，推動了健康大數據的應用，通常情況下，可以利用Hadoop架構實現對海量數據的分布式存儲，來支持歷史數據歸檔和在線歷史數據查詢等功能，Hadoop上所有的數據都存儲在HDFS(Hadoop Distributed FileSystem，分布式文件系統)上，海量的醫療大數據在面對HDFS存儲空間不足、節點擴展受限的情況下，可以通過在分布式文件系統中的數據節點增加磁盤的方式進行存儲擴容，但這會使得每個節點內部同時存在有數據的舊磁盤和新增未存放數據的新磁盤，節點內各個磁盤上的數據不均衡，從而影響系統性能。

相關技術中，可以使用HDFS自帶的Balance工具對其數據進行平衡，但這也只能保證每一個數據節點的數據大小均衡，無法解決節點內各個磁盤上的數據不均衡的問題。

發明內容

本公開的目的是提供一種數據存儲的方法、裝置、存儲介質及電子設備。

第一方面，提供一種數據存儲的方法，所述方法包括：在對分布式文件系統HDFS中的多個預設數據節點增加磁盤后，獲取所述HDFS中每個磁盤當前時刻的磁盤性能參數；根據所述磁盤性能參數確定每個磁盤的存儲優先級得分，并根據所述存儲優先級得分從所述HDFS中的多個所述磁盤中確定目標磁盤；獲取所述HDFS中已經寫入的至少一個數據塊；針對每個數據塊，確定該數據塊中的數據文件，在所述目標磁盤中未存儲所述數據文件的情況下，將該數據塊存儲至所述目標磁盤，不同的磁盤存儲不同的數據文件。

可選地，所述磁盤性能參數包括磁盤已占用吞吐量、磁盤最大吞吐量、磁盤吞吐量容許空間、磁盤已占用容量、磁盤最大容量以及磁盤容量容許空間，所述根據所述磁盤性能參數確定每個磁盤的存儲優先級得分包括：針對每個所述磁盤，根據該磁盤的所述磁盤已占用吞吐量、所述磁盤最大吞吐量以及所述磁盤吞吐量容許空間確定該磁盤的磁盤吞吐余量占用比，并根據該磁盤的所述磁盤已占用容量、所述磁盤最大容量以及所述磁盤容量容許空間確定該磁盤的磁盤容量余量占用比；根據所述磁盤吞吐余量占用比和所述磁盤容量余量占用比確定該磁盤的所述存儲優先級得分。

可選地，所述根據所述存儲優先級得分從所述HDFS中的多個所述磁盤中確定目標磁盤包括：根據所述存儲優先級得分生成采樣帶，所述采樣帶包括多個依次連接的預設分段，所述預設分段與所述磁盤一一對應，每個所述預設分段的長度為對應磁盤的存儲優先級得分，并且不同的所述預設分段對應多個不同的預設采樣點；生成[0,N]區間內的隨機數，所述N為所述預設采樣點的個數，并且所述預設采樣點個數遠遠大于所述HDFS中磁盤的個數；根據所述采樣帶和所述隨機數從多個所述預設分段中確定目標分段，并將所述目標分段對應的磁盤作為所述目標磁盤。

可選地，所述根據所述采樣帶和所述隨機數從多個所述預設分段中確定目標分段包括：根據所述采樣帶，將多個所述預設分段中所述隨機數對應的預設分段作為所述目標分段。