[發明專利]數據存儲方法、裝置及分布式存儲系統

有效

• 申請號: 201711450554.1
• 申請日: 2017-12-27
• 公開（公告）號: CN109976662B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 陳繼芬
• 申請（專利權）人: 浙江宇視科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 王文紅

本申請提供一種數據存儲方法、裝置及分布式存儲系統，所述方法包括：當檢測到存在邏輯存儲卷的已存儲數據量高于預設上限，且存在邏輯存儲卷的已存儲數據量低于預設下限時，將分布式存儲系統設置為第一存儲模式；在接收到待存儲文件時，為待存儲文件確定存儲地址；當為待存儲文件確定的存儲地址為多個邏輯存儲卷中已存儲數據量最高的邏輯存儲卷時，將該邏輯存儲卷作為第一邏輯存儲卷，并選取第二邏輯存儲卷；將待存儲文件存入第二邏輯存儲卷，并在第一邏輯存儲卷上建立該待存儲文件對應的鏈接文件。如此，在不改變原有數據調度策略的情況下，可以自動地實現待存儲文件的重分配，避免了各個邏輯存儲卷之間存儲負載不均衡的問題。

技術領域

本申請涉及數據存儲技術領域，具體而言，涉及一種數據存儲方法、裝置及分布式存儲系統。

背景技術

分布式存儲系統是由多個物理上相對獨立的存儲節點設備共同組成存儲集群系統，通過網絡，將多臺存儲節點上的物理資源形成一個統一的大存儲池對外提供存儲服務，可以有效提高數據存儲的容災率。在分布式存儲系統中，待存儲數據或文件通過一些預設的調度策略被分配到不同的邏輯存儲卷進行存儲。其中，現有的分布式存儲系統的一種調度方式是根據文件名的哈希值確定為待存儲文件確定邏輯存儲卷，以此來實現存儲負載均衡。但是在上述這種調度方式中，當有新加入的邏輯存儲卷或者之前故障的邏輯存儲卷恢復工作狀態時，這部分邏輯存儲卷的已存儲數據量會明顯少于其他邏輯存儲卷，此時依然按照根據文件名哈希值調度待存儲文件的方式，會導致各邏輯存儲卷之間的存儲負載量嚴重不均衡，影響系統的存儲效率，還可能到時數據丟失。

發明內容

為了克服現有技術中的上述不足，本申請的目的在于提供一種數據存儲方法，應用于分布式存儲系統，所述分布式存儲系統包括多個邏輯存儲卷；所述方法包括：

檢測每個所述邏輯存儲卷的已存儲數據量；

當檢測到存在至少一個所述邏輯存儲卷的已存儲數據量高于預設上限，且存在至少一個所述邏輯存儲卷的已存儲數據量低于預設下限時，將所述分布式存儲系統設置為第一存儲模式；

在所述第一存儲模式下接收到待存儲文件時，為所述待存儲文件確定存儲地址；

當為所述待存儲文件確定的存儲地址為所述多個邏輯存儲卷中已存儲數據量最高的邏輯存儲卷時，將該邏輯存儲卷作為第一邏輯存儲卷，并在其他所述邏輯存儲卷中選取一個作為第二邏輯存儲卷；

將所述待存儲文件存入所述第二邏輯存儲卷，并在所述第一邏輯存儲卷上建立該待存儲文件對應的鏈接文件，使所述鏈接文件指向存儲于所述第二邏輯存儲卷上的所述待存儲文件。

進一步地，在上述方法中，所述方法還包括：

當檢測到所有所述邏輯存儲卷的已存儲數據量均低于預設上限，或所有所述邏輯存儲卷的已存儲數據量均高于預設下限時，將所述分布式存儲系統設置為第二存儲模式；

在所述第二存儲模式下接收到待存儲文件時，為所述待存儲文件確定存儲地址，將所述待存儲文件存入所述確定的存儲地址對應的邏輯存儲卷。

進一步地，在上述方法中，選取的所述第二邏輯存儲卷為所述邏輯存儲卷中已存儲數據量最小的一個邏輯存儲卷。

進一步地，在上述方法中，所述為所述待存儲文件確定存儲地址的步驟，包括：

計算所述待存儲文件的文件名哈希值，根據所述文件名哈希值確定該待存儲文件的存儲地址。

進一步地，在上述方法中，所述檢測每個所述邏輯存儲卷的已存儲數據量的步驟，包括：

每間隔預設檢測時長對每個所述邏輯存儲卷的已存儲數據量進行檢測。

進一步地，在上述方法中，所述方法還包括：