[發(fā)明專利]一種數(shù)據(jù)對象存儲方法和裝置

有效

• 申請?zhí)枺?/td>: 201710625288.5
• 申請日: 2017-07-27
• 公開（公告）號: CN107391039B
• 公開（公告）日: 2020-05-15
• 發(fā)明（設計）人: 魏傳程;郭春庭;劉翔宇
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/50
• 代理公司: 北京安信方達知識產(chǎn)權代理有限公司 11262
• 代理人: 李紅爽;李丹

本發(fā)明公開了一種數(shù)據(jù)對象存儲方法及裝置，其中，該方法包括：重復判斷在所有的對象存儲設備中，是否有對象存儲設備的存儲空間占用率與所有的對象存儲設備各自的存儲空間占用率的平均值之比大于預設值，根據(jù)在可擴展散列下的受控復制算法重新確定所對應的一個歸置組所對應的對象存儲設備，直到?jīng)]有對象存儲設備的存儲空間占用率與第二數(shù)量的對象存儲設備各自的存儲空間占用率的平均值之比大于預設值為止；將一個數(shù)據(jù)對象及其副本分別存儲到除了被判斷為其存儲空間占用率與所有的對象存儲設備各自的存儲空間占用率的平均值之比大于預設值的對象存儲設備之外的對象存儲設備中，使得所存儲到的對象存儲設備之間保持了存儲空間占用率接近。

技術領域

本發(fā)明涉及數(shù)據(jù)存儲技術，尤指一種數(shù)據(jù)對象存儲方法和裝置。

背景技術

Ceph系統(tǒng)是一種開源的分布式存儲系統(tǒng)，用于采用成百上千臺存儲設備存儲PB(petabyte的縮寫，即2的50次方的字節(jié))級別的數(shù)據(jù)。Ceph系統(tǒng)必須使在這些存儲設備上分布的數(shù)據(jù)和負載平衡，以提高資源利用率，使系統(tǒng)的性能最有效地發(fā)揮，并且Ceph系統(tǒng)需要處理系統(tǒng)的存儲硬件擴展和存儲硬件失效。為了保證Ceph系統(tǒng)中的各個存儲設備負載均衡，因此，需要使得在各個存儲設備中均將新數(shù)據(jù)和舊數(shù)據(jù)混合在一起進行存儲。但是簡單的散列(Hash)分布不能有效處理在Ceph系統(tǒng)中的存儲設備的數(shù)量的變化，導致存儲設備中的大量數(shù)據(jù)遷移。針對以上的現(xiàn)象，設計出了在Ceph系統(tǒng)中使用的CRUSH(ControlledReplication Under Scalable Hashing，在可擴展散列下的受控復制)算法，CRUSH算法是一種可擴展的偽隨機數(shù)據(jù)分布算法，可以在沒有中心設備控制的情況下，有效地將數(shù)據(jù)對象映射到存儲設備上。因為Ceph系統(tǒng)的結構是動態(tài)變化的，所以CRUSH需要能夠處理在Ceph系統(tǒng)中添加或移除存儲設備，并且使得由于添加或移除存儲設備而導致的數(shù)據(jù)遷移最小化。CRUSH算法能夠在具有層級結構的存儲設備集群中有效的分布需要存儲的對象(Object)的副本。CRUSH算法實現(xiàn)了一種偽隨機(確定性)的函數(shù)，這個函數(shù)的輸入量參數(shù)是某個數(shù)據(jù)對象的標識(Object ID)或數(shù)據(jù)對象集群的標識(Object Group ID)，這個函數(shù)的輸出量對應于Ceph系統(tǒng)存儲設備集群中的一組對象存儲設備(Object Storage Device,簡稱為OSD，可以是磁盤(disk)中的一個分區(qū)，或者是一整塊磁盤)，以用于保存object的副本。為了實現(xiàn)以上的對象與對象存儲設備對應的過程，CRUSH需要用于描述存儲設備集群的層級結構的集群圖(cluster map，用于表示對象存儲設備集群中的數(shù)據(jù)分布)，以及對象副本的分布策略(被稱為rule)。

但是，并不能直接將對象存儲進對象存儲設備中，因為對象的大小非常小，在一個大規(guī)模的存儲設備集群中可能有幾百到幾千萬個對象。在存儲設備集群中對大量的對象進行遍歷尋址，速度將會非常緩慢；如果直接通過某種固定映射的Hash算法將對象映射到對象存儲設備上，那么對象與對象存儲設備的映射關系是固定的，當這個對象存儲設備損壞時，對象無法自動遷移至其他對象存儲設備。為了解決這些問題，Ceph系統(tǒng)引入了歸置組(Placement Group,簡稱為PG)的概念。歸置組是抽象的存儲節(jié)點，在數(shù)據(jù)尋址時，每個對象都會固定映射到一個歸置組中，所以當需要尋找一個對象時，只需要先找到對象所屬的歸置組，然后遍歷這個歸置組，而無需遍歷所有對象。而且在數(shù)據(jù)遷移時，也是以歸置組作為基本單位進行遷移，Ceph系統(tǒng)不會直接操作對象。

在將數(shù)據(jù)Ceph系統(tǒng)的過程中，首先將文件切分成多個對象，通過計算每個對象的散列值(Hash值)并且取模，使得對象映射到歸置組，再由歸置組映射到一組對象存儲設備(OSD Set)，其中，對象存儲設備的數(shù)量是由設置在對象和歸置組之間的命名空間(Pool)的數(shù)量決定的。每個命名空間對應于有多個不同歸置組，其中的一個歸置組映射到一組對象存儲設備(OSD set)，因此，對象存儲設備的數(shù)量是由pool與副本之和的數(shù)量決定的，其中一個對象存儲設備存儲有一個對象(稱為Primary)，其他對象存儲設備存儲該對象的副本(稱為Replicas)。