[發明專利]一種數據對象存儲方法和裝置

有效

• 申請號: 201710625288.5
• 申請日: 2017-07-27
• 公開（公告）號: CN107391039B
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 魏傳程;郭春庭;劉翔宇
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/50
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 李紅爽;李丹

本發明公開了一種數據對象存儲方法及裝置，其中，該方法包括：重復判斷在所有的對象存儲設備中，是否有對象存儲設備的存儲空間占用率與所有的對象存儲設備各自的存儲空間占用率的平均值之比大于預設值，根據在可擴展散列下的受控復制算法重新確定所對應的一個歸置組所對應的對象存儲設備，直到沒有對象存儲設備的存儲空間占用率與第二數量的對象存儲設備各自的存儲空間占用率的平均值之比大于預設值為止；將一個數據對象及其副本分別存儲到除了被判斷為其存儲空間占用率與所有的對象存儲設備各自的存儲空間占用率的平均值之比大于預設值的對象存儲設備之外的對象存儲設備中，使得所存儲到的對象存儲設備之間保持了存儲空間占用率接近。

技術領域

本發明涉及數據存儲技術，尤指一種數據對象存儲方法和裝置。

背景技術

Ceph系統是一種開源的分布式存儲系統，用于采用成百上千臺存儲設備存儲PB(petabyte的縮寫，即2的50次方的字節)級別的數據。Ceph系統必須使在這些存儲設備上分布的數據和負載平衡，以提高資源利用率，使系統的性能最有效地發揮，并且Ceph系統需要處理系統的存儲硬件擴展和存儲硬件失效。為了保證Ceph系統中的各個存儲設備負載均衡，因此，需要使得在各個存儲設備中均將新數據和舊數據混合在一起進行存儲。但是簡單的散列(Hash)分布不能有效處理在Ceph系統中的存儲設備的數量的變化，導致存儲設備中的大量數據遷移。針對以上的現象，設計出了在Ceph系統中使用的CRUSH(ControlledReplication Under Scalable Hashing，在可擴展散列下的受控復制)算法，CRUSH算法是一種可擴展的偽隨機數據分布算法，可以在沒有中心設備控制的情況下，有效地將數據對象映射到存儲設備上。因為Ceph系統的結構是動態變化的，所以CRUSH需要能夠處理在Ceph系統中添加或移除存儲設備，并且使得由于添加或移除存儲設備而導致的數據遷移最小化。CRUSH算法能夠在具有層級結構的存儲設備集群中有效的分布需要存儲的對象(Object)的副本。CRUSH算法實現了一種偽隨機(確定性)的函數，這個函數的輸入量參數是某個數據對象的標識(Object ID)或數據對象集群的標識(Object Group ID)，這個函數的輸出量對應于Ceph系統存儲設備集群中的一組對象存儲設備(Object Storage Device,簡稱為OSD，可以是磁盤(disk)中的一個分區，或者是一整塊磁盤)，以用于保存object的副本。為了實現以上的對象與對象存儲設備對應的過程，CRUSH需要用于描述存儲設備集群的層級結構的集群圖(cluster map，用于表示對象存儲設備集群中的數據分布)，以及對象副本的分布策略(被稱為rule)。

但是，并不能直接將對象存儲進對象存儲設備中，因為對象的大小非常小，在一個大規模的存儲設備集群中可能有幾百到幾千萬個對象。在存儲設備集群中對大量的對象進行遍歷尋址，速度將會非常緩慢；如果直接通過某種固定映射的Hash算法將對象映射到對象存儲設備上，那么對象與對象存儲設備的映射關系是固定的，當這個對象存儲設備損壞時，對象無法自動遷移至其他對象存儲設備。為了解決這些問題，Ceph系統引入了歸置組(Placement Group,簡稱為PG)的概念。歸置組是抽象的存儲節點，在數據尋址時，每個對象都會固定映射到一個歸置組中，所以當需要尋找一個對象時，只需要先找到對象所屬的歸置組，然后遍歷這個歸置組，而無需遍歷所有對象。而且在數據遷移時，也是以歸置組作為基本單位進行遷移，Ceph系統不會直接操作對象。

在將數據Ceph系統的過程中，首先將文件切分成多個對象，通過計算每個對象的散列值(Hash值)并且取模，使得對象映射到歸置組，再由歸置組映射到一組對象存儲設備(OSD Set)，其中，對象存儲設備的數量是由設置在對象和歸置組之間的命名空間(Pool)的數量決定的。每個命名空間對應于有多個不同歸置組，其中的一個歸置組映射到一組對象存儲設備(OSD set)，因此，對象存儲設備的數量是由pool與副本之和的數量決定的，其中一個對象存儲設備存儲有一個對象(稱為Primary)，其他對象存儲設備存儲該對象的副本(稱為Replicas)。