[發(fā)明專利]一種存儲桶索引重分裂的方法、裝置、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110962471.0
• 申請日: 2021-08-20
• 公開（公告）號: CN113703678A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計）人: 翟亞永;陶桐桐
• 申請（專利權(quán)）人: 濟南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 史翠

本申請實施例公開了一種存儲桶索引重分裂的方法、裝置、設(shè)備和介質(zhì)，檢測到桶索引分片上的數(shù)據(jù)量超過預設(shè)閾值時，依據(jù)桶索引分片上數(shù)據(jù)的增長量，建立相應(yīng)個數(shù)新的桶索引分片。在接收到數(shù)據(jù)寫入任務(wù)時，將數(shù)據(jù)寫入任務(wù)對應(yīng)的對象信息分配至新的桶索引分片中。依據(jù)數(shù)據(jù)的增長量增加相應(yīng)個數(shù)的新的桶索引分片，并且不更改原有的桶索引分片上的對象數(shù)據(jù)，將新增的對象數(shù)據(jù)直接寫到新增的桶索引分片上。既保證了桶索引分片上的對象數(shù)據(jù)量不會一直增大，也避免了桶索引分片分裂引發(fā)的數(shù)據(jù)遷移從而阻塞前端業(yè)務(wù)數(shù)據(jù)寫入。且能夠兼顧保證單個桶索引分片上的對象個數(shù)，提高了故障恢復的重構(gòu)速度。隨著對象個數(shù)的增多，可以對桶索引分片進行無限擴展。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，特別是涉及一種存儲桶索引重分裂的方法、裝置、設(shè)備和計算機可讀存儲介質(zhì)。

背景技術(shù)

在大數(shù)據(jù)時代，對象存儲服務(wù)(Object Storage Service，OSS)是一種新興的海量、安全、低成本、高可靠的云存儲服務(wù)，適合存放非結(jié)構(gòu)化的數(shù)據(jù)，例如：視頻，圖片，文檔等。

對于對象存儲，數(shù)據(jù)都存儲在存儲桶這種邏輯結(jié)構(gòu)中，用以隔離對象。存儲桶索引會記錄桶內(nèi)對象的信息，用以快速查找到對象和列舉(list)桶內(nèi)對象。存儲桶索引分片默認為128分片，將桶內(nèi)對象的屬性信息均勻的以鍵值對組織(omap)的形式記錄到128個分片上，這樣可以使得每個分片上的omap不至于過大。

但是隨著單桶數(shù)據(jù)量逐漸增多，每個分片上的對象記錄也會越來越多，omap也會越來越大。桶索引分片上記錄的omap越大，對于重構(gòu)和桶l(fā)ist操作都是一種很大的壓力，導致故障恢復的重構(gòu)速度較慢。業(yè)界的做法是采用桶索引分片自動分裂的方式，當單個桶索引分片上的對象達到10萬時，桶索引分片會由原來的128分裂到256個，桶索引分片上的對象重新進行分配，使得每個桶索引分片在5萬左右，以此來保證桶索引分片上的對象記錄不會很多。但是該方法有一個問題是：桶索引分片自動分裂和對象記錄重分配的過程中，因為會對桶索引分片加鎖，所以會影響前端的業(yè)務(wù)寫入。

可見，如何在保證對象順利寫入桶索引分片的同時降低對前端寫入業(yè)務(wù)的影響，是本領(lǐng)域技術(shù)人員需要解決的問題。

發(fā)明內(nèi)容

本申請實施例的目的是提供一種存儲桶索引重分裂的方法、裝置、設(shè)備和計算機可讀存儲介質(zhì)，可以在保證對象順利寫入桶索引分片的同時降低對前端寫入業(yè)務(wù)的影響。

為解決上述技術(shù)問題，本申請實施例提供一種存儲桶索引重分裂的方法，包括：

檢測到桶索引分片上的數(shù)據(jù)量超過預設(shè)閾值時，依據(jù)桶索引分片上數(shù)據(jù)的增長量，建立相應(yīng)個數(shù)新的桶索引分片；

在接收到數(shù)據(jù)寫入任務(wù)時，將所述數(shù)據(jù)寫入任務(wù)對應(yīng)的對象信息分配至所述新的桶索引分片中。

可選地，所述依據(jù)桶索引分片上數(shù)據(jù)的增長量，建立相應(yīng)個數(shù)新的桶索引分片包括：

查詢預先建立的桶索引分片個數(shù)與數(shù)據(jù)增長范圍的對應(yīng)關(guān)系列表，確定出與所述桶索引分片上數(shù)據(jù)的增長量相匹配的目標桶索引分片個數(shù)；

基于所述目標桶索引分片個數(shù)創(chuàng)建新的桶索引分片。

可選地，所述依據(jù)桶索引分片上數(shù)據(jù)的增長量，建立相應(yīng)個數(shù)新的桶索引分片包括：

計算所述桶索引分片上數(shù)據(jù)的增長量與預設(shè)增長值的比值；

基于所述比值以及原有的桶索引分片個數(shù)，確定出新建通索引分片的個數(shù)；

基于所述新建通索引分片的個數(shù)創(chuàng)建新的桶索引分片。

可選地，所述基于所述比值以及原有的桶索引分片個數(shù)，確定出新建通索引分片的個數(shù)包括：

在所述比值超過預設(shè)下限值時，則將所述原有的桶索引分片個數(shù)作為新建通索引分片的個數(shù)；