[發明專利]分布式對象存儲中動態分片方法、系統、介質及設備

在審

• 申請號: 202211275567.0
• 申請日: 2022-10-18
• 公開（公告）號: CN115438016A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 鄭平
• 申請（專利權）人: 康鍵信息技術（深圳）有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/16
• 代理公司: 上海漢之律師事務所 31378
• 代理人: 馮華

本發明提供一種分布式對象存儲中動態分片方法、系統、介質及設備，涉及分布式存儲的技術領域，包括以下步驟：設置每個bucket的可用存儲容量均為預設值，僅在當前bucket的已用存儲容量達到預設值時開啟下一個可用bucket；基于接收到的bucket應用請求獲取用戶對應的當前可用bucket；基于RGW文件網關將所述當前可用bucket地址發送至客戶端，以使所述客戶端基于所述當前可用bucket地址完成所述bucket應用請求對應的文件操作。本發明的分布式對象存儲中動態分片方法、系統、介質及設備解決了由于bucket文件過多引發的問題，使得對象存儲服務更加穩定。

技術領域

本發明涉及分布式存儲技術領域，特別是涉及一種分布式對象存儲中動態分片方法、系統、介質及設備。

背景技術

Ceph是一個統一的、分布式的存儲系統，具有優秀的性能、可靠性和可擴展性。Ceph支持對象存儲(RADOSGW)、塊存儲(RBD)和文件存儲(CephFS)。對象存儲網關(RADOSGateway，RGW)是開源的分布式對象存儲服務，建立在ceph rados的基礎上，提供通用的s3協議對象存儲服務，可以支持PB級的存儲服務。RGW提供用戶指定關鍵字(key)來存取文件、拉列表等功能，通過桶/存儲空間(bucket)來區分不同的用戶。現有技術中，在bucket下的文件越來越多的情況下，無論是存取文件還是拉列表，其性能均顯著地下降。分析可知，獲取bucket下的某個文件信息時性能消耗較大。

如圖1所示，rgw是文件網關，可擴展。osd代表一塊磁盤，組1、組2、組n分別代表磁盤的主副副本組。bucket的操作get/put/list等請求先經過rgw，由rgw路由到osd分組，其中步驟1可以隨機選擇一個rgw，步驟2由所選擇的rgw根據bucket的分片(sharding)數量以及key來算出具體在哪個shard，shard再根據crush算法算出osd組來定位具體的osd。

如圖2所示，一個bucket可以對應多個shard，創建時指定數量，key到shard的算法通過類似hash(key)％shard_count來定位。由該算法可知，分片數量shard_count一旦確定，無法輕易改變，否則會導致所有的key的位置發生改變。因此，該路由規則并不利于擴展shard數量。現有技術中存在有一致性hash的解決方案，但是在量大的基礎上還是會遷移很多key，也會影響線上服務。另外，若通過設置很大的shard數量來解決上述問題，則存在資源浪費的問題。一個shard在ceph里面對應的是一個rados對象，在雙機房同步時需要輪循的shard任務也非常大，并且在一些請求下會出現性能下降，比如拉列表時需要聚合所有shard才能找出正確的列表順序。

另外，rgw雙活同步是禁止重新分片的。也就是說，在雙機房同步時，一個bucketshard數量確定之后就不能改變，否則在同步時出現問題。為了確保數據安全且必須采用雙機房同步策略，而該策略下隨著bucket下的文件越來越多，若不能對bucket重新分片，則會導致數據量過大時性能出現問題。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種分布式對象存儲中動態分片方法、系統、介質及設備，解決了由于bucket文件過多引發的問題，使得對象存儲服務更加穩定。

為實現上述目的及其他相關目的，本發明提供一種分布式對象存儲中動態分片方法，包括以下步驟：令分布式對象存儲系統中每個bucket的可用存儲容量均為預設值，僅在當前bucket已用存儲容量達到預設值時開啟下一個可用bucket；基于客戶端發送的bucket應用請求獲取當前可用bucket；基于RGW文件網關將當前可用bucket地址發送至所述客戶端，以使所述客戶端基于所述當前可用bucket地址完成所述bucket應用請求對應的文件操作。

本發明提供一種分布式對象存儲中動態分片系統，包括：