[發(fā)明專利]基于超融合架構的數據管理方法、系統(tǒng)、電子設備及介質

在審

• 申請?zhí)枺?/td>: 202110255272.6
• 申請日: 2021-03-09
• 公開（公告）號: CN112905718A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設計）人: 譚思敏;林胤;季統(tǒng)凱;許曉安;杜志良;謝天杰;阮遠華
• 申請（專利權）人: 東莞中國科學院云計算產業(yè)技術創(chuàng)新與育成中心
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215;G06F11/34
• 代理公司: 深圳中創(chuàng)智財知識產權代理有限公司 44553
• 代理人: 李春林;張?zhí)K嫚

1.一種基于超融合架構的數據管理方法，其特征在于，包括：

部署步驟：在服務器上部署分別連接若干客戶端與分層資源管理平臺的超融合架構，所述分層資源管理平臺包括多個數據節(jié)點，每個所述數據節(jié)點對應存儲一類存儲數據；

分類步驟：將所述若干客戶端上傳的存儲數據進行聚合形成數據池，分別提取各個存儲數據的標簽，將屬于相同標簽的存儲數據歸為一類并存儲至所述分層資源管理平臺與存儲數據類別對應的數據節(jié)點；

調取步驟：實時接收所述客戶端發(fā)起的數據調取請求，解析所述數據調取請求得到待調取數據的標簽，根據所述待調取數據的標簽從所述分層資源管理平臺調取對應的存儲數據發(fā)送所述客戶端；

統(tǒng)計步驟：定時統(tǒng)計每類所述待調取數據的調取頻率，根據不同調取頻率范圍將所述分層資源管理平臺中的存儲數據進行二次分類，將經過二次分類的存儲數據按照不同的調取頻率存儲至不同類別的數據存儲模塊。

2.如權利要求1所述的基于超融合架構的數據管理方法，其特征在于，所述數據存儲模塊包括用于存儲調取頻率落入預設數據范圍內的存儲數據的HDD硬盤、用于存儲調取頻率大于所述預設數據范圍的存儲數據的SSD固態(tài)硬盤，及用于存儲調取頻率小于所述預設數值范圍的存儲數據的氦氣硬盤。

3.如權利要求1所述的基于超融合架構的數據管理方法，其特征在于，該方法還包括去重步驟：

對所述客戶端上傳的存儲數據進行掃描檢索，將重復的存儲數據進行刪除。

4.如權利要求1所述的基于超融合架構的數據管理方法，其特征在于，該方法還包括傳輸性能測試步驟：

采用第三方性能基準測試工具循環(huán)檢測所述分層資源管理平臺中的所有數據節(jié)點在網絡上是否相互連通；

當存在不連通的所述數據節(jié)點時，終止測試，將該數據節(jié)點標記為第一節(jié)點，并記錄所述第一節(jié)點的網卡名稱。

5.如權利要求1所述的基于超融合架構的數據管理方法，其特征在于，所述傳輸性能測試步驟還包括：

當不存在不連通的所述數據節(jié)點時，采用所述第三方性能基準測試工具循環(huán)檢測分層資源管理平臺中的所有數據節(jié)點在內部網絡上是否與超融合云平臺相互連通；

當存在不連通的所述數據節(jié)點時，終止測試，將該數據節(jié)點標記為第二節(jié)點，并記錄所述第二節(jié)點的網卡名稱。

6.如權利要求1所述的基于超融合架構的數據管理方法，其特征在于，所述傳輸性能測試步驟還包括：

當不存在不連通的所述數據節(jié)點時，采用所述第三方性能基準測試工具循環(huán)檢測分層資源管理平臺中的所有數據節(jié)點是否存在網絡堵塞；

若存在網絡堵塞的數據節(jié)點，終止測試，將該數據節(jié)點標記為第三節(jié)點，并從分層資源管理平臺中移除該第三節(jié)點。

7.如權利要求1所述的基于超融合架構的數據管理方法，其特征在于，所述第三方性能基準測試工具包括Jmeter、Sysbench、HammerDB、SwingBench及LoadRunner。

8.一種基于超融合架構的數據管理系統(tǒng)，其特征在于，包括：

部署模塊，用于在服務器上部署分別連接若干客戶端與分層資源管理平臺的超融合架構，所述分層資源管理平臺包括多個數據節(jié)點，每個所述數據節(jié)點對應存儲一類存儲數據；

分類模塊，用于將所述若干客戶端上傳的存儲數據進行聚合形成數據池，分別提取各個存儲數據的標簽，將屬于相同標簽的存儲數據歸為一類并存儲至所述分層資源管理平臺與存儲數據類別對應的數據節(jié)點；

調取模塊，用于實時接收所述客戶端發(fā)起的數據調取請求，解析所述數據調取請求得到待調取數據的標簽，根據所述待調取數據的標簽從所述分層資源管理平臺調取對應的存儲數據發(fā)送所述客戶端；

統(tǒng)計模塊，用于定時統(tǒng)計每類所述待調取數據的調取頻率，根據不同調取頻率范圍將所述分層資源管理平臺中的存儲數據進行二次分類，將經過二次分類的存儲數據按照不同的調取頻率存儲至不同類別的數據存儲模塊。