[發明專利]基于分布式系統的存儲空間整理方法、裝置及系統

在審

• 申請號: 201710555164.4
• 申請日: 2017-06-30
• 公開（公告）號: CN107368260A
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 李丹
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙)11276
• 代理人: 宋菲,劉云貴

1.一種基于分布式系統的存儲空間整理方法，其中，所述分布式系統至少包括多個分布式的數據分片集群，所述方法包括：

分別針對每個數據分片集群，獲取并分析與該數據分片集群的數據存儲狀態相對應的元數據信息；

根據分析結果確定該數據分片集群中包含的空閑存儲空間的存儲容量和/或位置分布；

根據所述空閑存儲空間的存儲容量和/或位置分布對該數據分片集群中包含的空閑存儲空間進行整理；以及

根據整理結果更新與該數據分片集群的數據存儲狀態相對應的元數據信息。

2.根據權利要求1所述的方法，其中，每個數據分片集群包括多個用于存儲數據的數據單元，則每個數據分片集群中包含的空閑存儲空間的存儲容量和/或位置分布具體為：該數據分片集群中的各個空閑數據單元的存儲容量，和/或各個空閑數據單元的位置分布；

且所述根據所述空閑存儲空間的存儲容量和/或位置分布對該數據分片集群中包含的空閑存儲空間進行整理的步驟具體包括：

根據各個空閑數據單元的位置分布，確定位置相鄰且連續的多個空閑數據單元，針對所述位置相鄰且連續的多個空閑數據單元進行整理。

3.根據權利要求2所述的方法，其中，所述根據各個空閑數據單元的位置分布，確定位置相鄰且連續的多個空閑數據單元的步驟具體包括：

若多個空閑數據單元中，每兩個相鄰的空閑數據單元之間沒有非空閑數據單元，則將所述多個空閑數據單元確定為位置相鄰且連續的多個空閑數據單元；或者，

若多個空閑數據單元中，至少兩個相鄰的空閑數據單元之間具有非空閑數據單元，且所述非空閑數據單元中的已存儲數據量小于預設閾值，則針對所述非空閑數據單元中已存儲的全部數據執行數據遷移操作，并將所述多個空閑數據單元以及執行數據遷移操作后的非空閑數據單元確定為位置相鄰且連續的多個空閑數據單元。

4.根據權利要求2或3所述的方法，其中，所述針對所述位置相鄰且連續的多個空閑數據單元進行整理的步驟具體包括：

將所述位置相鄰且連續的多個空閑數據單元合并為一個待分配數據單元；其中，為該待分配數據單元設置對應的待分配標記；或者，

將所述位置相鄰且連續的多個空閑數據單元回收后重新分配為一個或多個待使用數據單元；其中，設定各個待使用數據單元的存儲容量，并為各個待使用數據單元設置對應的待使用標記。

5.根據權利要求2-4任一所述的方法，其中，所述針對所述位置相鄰且連續的多個空閑數據單元進行整理的步驟具體包括：

根據所述位置相鄰且連續的多個空閑數據單元的存儲容量總和，對所述位置相鄰且連續的多個空閑數據單元進行整理。

6.根據權利要求1-5任一所述的方法，其中，所述分析與該數據分片集群的數據存儲狀態相對應的元數據信息的步驟具體包括：

從所述元數據信息中查找包含空閑標記的存儲空間，并將查找到的存儲空間確定為空閑存儲空間；

其中，所述空閑標記包括：因數據均衡操作、數據更新操作和/或數據刪除操作而產生的無效標記和/或刪除標記。

7.一種基于分布式系統的存儲空間整理裝置，其中，所述分布式系統至少包括多個分布式的數據分片集群，所述裝置包括：

分析模塊，適于分別針對每個數據分片集群，獲取并分析與該數據分片集群的數據存儲狀態相對應的元數據信息；

確定模塊，適于根據分析結果確定該數據分片集群中包含的空閑存儲空間的存儲容量和/或位置分布；

整理模塊，適于根據所述空閑存儲空間的存儲容量和/或位置分布對該數據分片集群中包含的空閑存儲空間進行整理；以及

更新模塊，適于根據整理結果更新與該數據分片集群的數據存儲狀態相對應的元數據信息。

8.一種分布式系統，包括權利要求7所述的存儲空間整理裝置，以及所述多個分布式的數據分片集群。

9.一種電子設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1-6中任一項所述的存儲空間整理方法對應的操作。

10.一種計算機存儲介質，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使處理器執行如權利要求1-6中任一項所述的存儲空間整理方法對應的操作。