[發明專利]一種小文件數據重構恢復方法、系統、終端及存儲介質

有效

• 申請號: 202011301679.X
• 申請日: 2020-11-19
• 公開（公告）號: CN112506698B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 鄢婷;魏坤;徐曉陽
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 孫玉營

本發明提供一種小文件數據重構恢復方法、系統、終端及存儲介質，包括：預先存儲小文件數據重構策略模型；統計已恢復的對象數量和所述對象數量中的小文件數量占比；若所述小文件數量占比達到預設閾值，則判定當前恢復場景為小文件恢復場景；在所述小文件恢復場景下調用所述小文件數據重構策略模型；獲取下個恢復周期的對象總數，并根據所述對象總數調整重構恢復的總帶寬。本發明對于提升產品的穩定性和性能帶來很大的好處，對于產品的競爭力得到很大的提升。

技術領域

本發明涉及存儲系統技術領域，具體涉及一種小文件數據重構恢復方法、系統、終端及存儲介質。

背景技術

Ceph是一個對外部云平臺提供分布式存儲服務的系統，基于ceph可以對平臺提供對象存儲服務，塊存儲服務和文件系統存儲服務等等其他分布式存儲服務。Ceph系統集群架構中，至少需要一個Ceph Monitor和兩個OSD(對象存儲設備)守護進程。其中，CephMonitor維護著展示集群狀態的各種圖表，包括監視器圖、OSD圖、歸置組(PG)圖、和CRUSH圖。Ceph保存著發生在Monitors、OSD和PG上的每一次狀態變更的歷史信息。

存儲系統最根本的元素是磁盤，所有數據都是存放在磁盤中，無論是HDD， SSD或者NMVE等磁盤。存儲系統采用一定的算法將這些磁盤組成存儲池，對外提供安全可靠的存儲服務。但是分布式存儲最主要的特性就是大規模集群可能就是成千上萬塊磁盤組成的大容量存儲池，這些存儲池的數據量可能達到PB 甚至EB的級別，因此對磁盤的維護至關重要。當磁盤故障或者需要對存儲進行擴縮容時，保證數據的完整性重構恢復是一個很重要的流程。

故障硬盤承載的數據重新被分配到新硬盤中，故障硬盤中的數據在其他正常硬盤中被恢復出來的過程被稱為數據重構。數據重構是數據恢復的一種形式。存儲最重要的是保持數據的完整性、一致性，所以在保持數據完整性、一致性的基礎上進行不同類型業務，不同類型數據的恢復速度提出了很重要的研究問題。

現有數據重構方法采用ceph社區默認集群重構方案，并沒有對特殊場景進行處理，比如海量KB級別小文件場景，針對HDD和SSD不同硬件配置進行處理。因此在數據重構時存在重構速率慢的問題。

發明內容

針對現有技術的上述不足，本發明提供一種小文件數據重構恢復方法、系統、終端及存儲介質，以解決上述技術問題。

第一方面，本發明提供一種小文件數據重構恢復方法，包括：

預先存儲小文件數據重構策略模型；

統計已恢復的對象數量和所述對象數量中的小文件數量占比；

若所述小文件數量占比達到預設閾值，則判定當前恢復場景為小文件恢復場景；

在所述小文件恢復場景下調用所述小文件數據重構策略模型；

獲取下個恢復周期的對象總數，并根據所述對象總數調整重構恢復的總帶寬。

進一步的，所述預先存儲小文件數據重構策略模型，包括：

設置恢復模式為隨機恢復；

設置對象不同存儲方式對應的恢復策略，所述存儲方式包括副本方式和糾刪碼方式；

對于SSD存儲池設置根據CPU線程數、SSD大小和存儲系統總存儲量生成超線程模型比例的策略。

進一步的，所述統計已恢復對象中的小文件數量占比，包括：

從預分配補償算法采集指定期限內已恢復的對象總數；

獲取已恢復的對象大小，統計已恢復對象中的小文件數量；

將無法獲取大小的未知對象暫存至未知列表中；