[發明專利]基于分布式系統的存儲空間整理方法、裝置及系統

在審

• 申請號: 201710555164.4
• 申請日: 2017-06-30
• 公開（公告）號: CN107368260A
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 李丹
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙)11276
• 代理人: 宋菲,劉云貴

技術領域

本發明涉及計算機技術領域，具體涉及一種基于分布式系統的存儲空間整理方法、裝置及系統。

背景技術

在互聯網業務中，隨著業務數據量的不斷增加，需要大量的存儲空間來存儲互聯網業務中的相關數據。由于分布式存儲系統的存儲空間能夠無限擴展，因此在存儲互聯網的業務數據時得到了廣泛利用。在互聯網業務中，由于經常需要對數據進行插入、更新、刪除等相關操作，因此在互聯網業務的分布式存儲過程中，也會對應地對存儲的數據進行諸如插入、刪除、拆分以及遷移等相關操作，這些操作容易導致分布式存儲系統的存儲空間碎片化。

在實現本發明實施例的過程中，發明人發現現有技術中至少存在如下問題：隨著存儲數據的數據量增多，存儲空間中會累積起大量冗余的碎片化存儲空間。這些累積的碎片化存儲空間由于數量巨大，導致其占用的總存儲空間會變得非常大。并且，在對數據進行永久性存儲時，存儲數據會隨著時間的增加而成倍增加，從而使上述問題更加凸顯。然而，現有技術中尚沒有一種有效的方式能夠針對這些碎片化存儲空間進行有效利用，因而不僅在存儲空間的使用上造成了嚴重浪費，同時還會降低存儲空間的分配及管理效率，另外，還需要花費大量經費去維護或者開發新的存儲空間，給互聯網數據的存儲帶來了諸多不便。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的基于分布式系統的存儲空間整理方法、裝置及系統。

根據本發明的一個方面，提供了一種基于分布式系統的存儲空間整理方法。其中，上述分布式系統至少包括多個分布式的數據分片集群，該方法包括：分別針對每個數據分片集群，獲取并分析與該數據分片集群的數據存儲狀態相對應的元數據信息；根據分析結果確定該數據分片集群中包含的空閑存儲空間的存儲容量和/或位置分布；根據空閑存儲空間的存儲容量和/或位置分布對該數據分片集群中包含的空閑存儲空間進行整理；以及根據整理結果更新與該數據分片集群的數據存儲狀態相對應的元數據信息。

根據本發明的另一方面，提供了一種基于分布式系統的存儲空間整理裝置。其中，上述分布式系統至少包括多個分布式的數據分片集群，該裝置包括：分析模塊，適于分別針對每個數據分片集群，獲取并分析與該數據分片集群的數據存儲狀態相對應的元數據信息；確定模塊，適于根據分析結果確定該數據分片集群中包含的空閑存儲空間的存儲容量和/或位置分布；整理模塊，適于根據空閑存儲空間的存儲容量和/或位置分布對該數據分片集群中包含的空閑存儲空間進行整理；以及更新模塊，適于根據整理結果更新與該數據分片集群的數據存儲狀態相對應的元數據信息。

根據本發明的又一方面，提供了一種分布式系統，包括上述任一存儲空間整理裝置，以及多個分布式的數據分片集群。

根據本發明的又一方面，提供了一種電子設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行上述基于分布式系統的存儲空間整理方法對應的操作。

根據本發明的再一方面，提供了一種計算機存儲介質，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使處理器執行如上述基于分布式系統的存儲空間整理方法對應的操作。

在本發明提供的基于分布式系統的存儲空間整理的方法、裝置及系統中，對存儲空間進行整理時，首先分別獲取并分析每個數據分片集群的數據存儲狀態對應的元數據信息，然后根據分析結果確定該數據分片集群中包含的空閑存儲空間的存儲容量和/或位置分布，并根據確定結果對數據分片集群中包含的空閑存儲空間進行整理，最后根據整理結果更新與該數據分片集群存儲狀態相對應的元數據信息。由此可見，本發明中的方案能夠解決在分布式系統中，由于無法對碎片化的存儲空間進行有效整合和利用，導致大量可利用的存儲空間被浪費，并且給存儲空間的分配和管理都造成不便的問題，本發明能夠對碎片化的存儲空間進行有效整合和分配，提升了存儲空間的利用率及分配效率，同時也實現了針對存儲空間的有效管理。

上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，并且為了讓本發明的上述和其它目的、特征和優點能夠更明顯易懂，以下特舉本發明的具體實施方式。

附圖說明