[發明專利]基于超融合架構的數據管理方法、系統、電子設備及介質

在審

• 申請號: 202110255272.6
• 申請日: 2021-03-09
• 公開（公告）號: CN112905718A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 譚思敏;林胤;季統凱;許曉安;杜志良;謝天杰;阮遠華
• 申請（專利權）人: 東莞中國科學院云計算產業技術創新與育成中心
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215;G06F11/34
• 代理公司: 深圳中創智財知識產權代理有限公司 44553
• 代理人: 李春林;張蘇嫚

本發明涉及數據處理領域，提供了一種基于超融合架構的數據管理方法、系統、電子設備及介質，該方法包括在服務器部署分別連接若干客戶端與分層資源管理平臺的超融合架構；提取各個存儲數據的標簽，將屬于相同標簽的存儲數據歸為一類并存儲至與存儲數據類別對應的數據節點；實時接收客戶端發起的數據調取請求，根據待調取數據的類別從分層資源管理平臺調取對應的存儲數據發送客戶端；統計每類待調取數據的調取頻率，將存儲數據按照不同的調取頻率存儲至不同類別的數據存儲模塊。本發明通過分層資源管理平臺對存儲數據分層管理，便于管理大量的數據資源，使得在進行數據瀏覽和數據調取時，系統的運行速度更快，在進行數據檢索和獲取時，準確性更高。

技術領域

本發明涉及數據處理領域，尤其涉及一種基于超融合架構的數據管理方法、系統、電子設備及介質。

背景技術

目前使用的超融合架構分層資源管理系統的數據資源部署方式為直接進行儲存，或者對數據簡單的進行分類儲存。這類存儲方式雖然非常簡單，便于實施，但是由于存儲的信息量極為巨大，因此使得在進行數據瀏覽和數據調取時，系統的運行速度較慢，在進行數據檢索和獲取時，其準確性較差。這使得目前的技術方案完全無法滿足企業的需求。

發明內容

本發明的主要目的在于提供一種基于超融合架構的數據管理方法、系統、電子設備及介質，旨在解決現有的系統運行速度較慢，調取數據的準確性較差的問題。

為實現上述目的，本發明提供的一種基于超融合架構的數據管理方法，該方法包括：

部署步驟：在服務器上部署分別連接若干客戶端與分層資源管理平臺的超融合架構，所述分層資源管理平臺包括多個數據節點，每個所述數據節點對應存儲一類存儲數據；

分類步驟：將所述若干客戶端上傳的存儲數據進行聚合形成數據池，分別提取各個存儲數據的標簽，將屬于相同標簽的存儲數據歸為一類并存儲至所述分層資源管理平臺與存儲數據類別對應的數據節點；

調取步驟：實時接收所述客戶端發起的數據調取請求，解析所述數據調取請求得到待調取數據的標簽，根據所述待調取數據的標簽從所述分層資源管理平臺調取對應的存儲數據發送所述客戶端；

統計步驟：定時統計每類所述待調取數據的調取頻率，根據不同調取頻率范圍將所述分層資源管理平臺中的存儲數據進行二次分類，將經過二次分類的存儲數據按照不同的調取頻率存儲至不同類別的數據存儲模塊。

優選地，所述數據存儲模塊包括用于存儲調取頻率落入預設數據范圍內的存儲數據的HDD硬盤、用于存儲調取頻率大于所述預設數據范圍的存儲數據的SSD固態硬盤，及用于存儲調取頻率小于所述預設數值范圍的存儲數據的氦氣硬盤。

優選地，該方法還包括去重步驟：

對所述客戶端上傳的存儲數據進行掃描檢索，將重復的存儲數據進行刪除。

優選地，該方法還包括傳輸性能測試步驟：

采用第三方性能基準測試工具循環檢測所述分層資源管理平臺中的所有數據節點在網絡上是否相互連通；

當存在不連通的所述數據節點時，終止測試，將該數據節點標記為第一節點，并記錄所述第一節點的網卡名稱。

優選地，所述傳輸性能測試步驟還包括：

當不存在不連通的所述數據節點時，采用所述第三方性能基準測試工具循環檢測分層資源管理平臺中的所有數據節點在內部網絡上是否與超融合云平臺相互連通；

當存在不連通的所述數據節點時，終止測試，將該數據節點標記為第二節點，并記錄所述第二節點的網卡名稱。

優選地，所述傳輸性能測試步驟還包括：

當不存在不連通的所述數據節點時，采用所述第三方性能基準測試工具循環檢測分層資源管理平臺中的所有數據節點是否存在網絡堵塞；