[發明專利]跨域桶刪除方法、系統、終端及存儲介質

有效

• 申請號: 202210041846.4
• 申請日: 2022-01-14
• 公開（公告）號: CN114442947B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 馬驍;陶桐桐;李歡歡
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 孫玉營

本發明涉及分布式存儲技術領域，具體提供一種跨域桶刪除方法、系統、終端及存儲介質，包括：主站點校驗桶刪除條件，所述桶刪除條件包括是否存在跨域同步策略和目標桶內是否存在對象；主站點在桶刪除條件通過校驗之后，通過更新數據日志與主元數據檢索站點同步刪除目標桶；執行元數據同步以通知從站點刪除所述目標桶的對應桶。本發明通過在刪除桶之前進行條件校驗，并保證刪除流程同步執行，可有效地避免集群和es?zone因桶包含跨域桶策略造成刪桶后數據同步卡死的問題和垃圾數據的產生。

技術領域

本發明涉及分布式存儲技術領域，具體涉及一種跨域桶刪除方法、系統、終端及存儲介質。

背景技術

分布式對象存儲已經成為應對海量非結構化數據增長的首選，在滿足存儲需求的同時，又需要滿足對關鍵數據的容災備份。比如：當某個集群發生故障時，需要保障用戶業務繼續運行。基于以上需求多站點功能就應運而生，主從同步使得數據可以從一個數據庫服務器復制到其他服務器上，在復制數據時，一個服務器充當主服務器(master)，其余的服務器充當從服務器(slave)。跨域桶復制，顧名思義就是不同zone之間的桶到桶之間的數據同步。它是現有的多站點數據同步機制的一個擴展。不開啟跨域桶復制的多站點的桶是被對稱對待的，也就是說，每個zone保存著該桶的鏡像，該鏡像與其它所有zone相同。然而利用跨域桶復制功能會導致桶產生差異，一個桶可以從不同zone上的其它桶中拉取數據。同樣，未開啟跨域桶復制的多站點同步機制中進行數據同步的源桶和目的桶都指向同一個桶，而跨域桶復制功能則不一定。跨域桶復制功能首先需要配置同步策略policy，即定義了不同zone桶與桶之間的數據流動。Elasticsearch是一個分布式可擴展的實時搜索和分析引擎，它廣泛應用于分布式存儲系統中，其可將每一個字段都編入索引，使其可以被搜索，存儲數據對應的元數據信息。

多站點之間的主從同步又分為數據同步和元數據同步，數據同步指master?zone和slave?zone之間的差異數據拉取，元數據同步則指master?es?zone和slave?es?zone之間的信息交互，如創建用戶、桶等信息的通知。es?zone中的數據同步則依賴與對應站點的zone的數據交互，例如在一個多站點的集群中，主站點中有的新的數據上傳，該數據對應的元數據信息則也會同步到主站點的es?zone中再存儲elasticsearch里。而此時從站點也會根據數據同步流程來拉取該新上傳的對象，等拉取該數據后再與slave自身的es?zone交互同步數據。

數據同步和元數據同步分別由不同的線程進行處理。在大部分情況中，元數據同步的耗時要小于數據同步。若未對這兩個同步流程做出合理控制規劃則很容易造成下列問題：在多站點環境中，進行跨域桶復制，當master?zone刪除某個桶內對象后，刪除該桶，就會造成數據同步卡住不再進行同步，同樣元數據同步也會卡住。造成以上問題的原因就是在桶內對未同步完成時，元數據的同步就已經執行完畢，刪掉了slave?zone中的桶，導致了跨域桶復制的policy目標丟失，數據同步卡住。因此一個合理的數據同步與元數據同步控制機制對多站點集權尤為重要。本專利針對多站點環境跨域桶復制中的刪除流程，設計了一種數據同步與元數據的控制方案，來保證數據同步正常執行。

發明內容

針對現有技術存在的刪除桶導致數據同步卡住的問題，本發明提供一種跨域桶刪除方法、系統、終端及存儲介質，以解決上述技術問題。

第一方面，本發明提供一種跨域桶刪除方法，包括：

主站點校驗桶刪除條件，所述桶刪除條件包括是否存在跨域同步策略和目標桶內是否存在對象；

主站點在桶刪除條件通過校驗之后，通過更新數據日志與主元數據檢索站點同步刪除目標桶；

執行元數據同步以通知從站點刪除所述目標桶的對應桶。

進一步的，主站點校驗桶刪除條件，所述桶刪除條件包括是否存在跨域同步策略和目標桶內是否存在對象，包括：