[發明專利]對象元數據聚合方法、讀取方法、裝置、設備及存儲介質

有效

• 申請號: 202110371652.6
• 申請日: 2021-04-07
• 公開（公告）號: CN113111194B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 陶桐桐;胡永剛
• 申請（專利權）人: 山東英信計算機技術有限公司
• 主分類號: G06F16/41
• 分類號: G06F16/41;G06F16/48
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李修杰

本發明公開了對象元數據聚合方法、讀取方法、裝置、設備及存儲介質，對象元數據聚合方法，包括：配置元數據聚合的對象個數N和元數據聚合開關；根據元數據聚合開關判斷是否啟動存儲桶元數據聚合掃描線程；如果啟動元數據聚合掃描線程，則對每一個桶索引分片，按照設置的對象個數N進行元數據聚合后存儲到桶索引分片上，否則結束。在元數據聚合線程中對每個存儲桶內的索引分片進行掃描，將多個對象元數據信息進行聚合成一條數據，保存在桶索引分片中，能夠提高故障恢復的重構速度和站點間的同步速度。

技術領域

本發明涉及對象元數據的存儲技術領域，尤其涉及一種對象元數據聚合方法、讀取方法、裝置、設備及存儲介質。

背景技術

在大數據時代，對象存儲服務(Object Storage Service，OSS)是一種新興的海量、安全、低成本、高可靠的云存儲服務，適合存放非結構化的數據，例如：視頻，圖片，文檔等。上述非結構化數據的一大特點就是數據量大，產生的元數據也越來越大。元數據是關于數據的數據，是對象的重要信息。對象落盤存儲后，越來越多的對象元數據進行操作，在很多場景下，例如重構，同步等過程中，逐漸成為性能的瓶頸點。針對上述問題，行業內目前的方案是通過提高SSD容量提升元數據的讀寫速度，但是該解決方案不能從根本上解決元數據導致的性能瓶頸問題。

發明內容

本發明的目的就是為了解決上述問題，提供一種對象元數據聚合方法、讀取方法、裝置、設備及存儲介質，通過對每個桶索引分片上的元數據信息進行聚合存儲的方法，提高了數據重構和數據同步的速度，有利于在故障恢復和多站點場景下的性能優化。

為了實現上述目的，本發明采用如下技術方案：

一種對象元數據聚合方法，包括：

配置元數據聚合的對象個數N和元數據聚合開關；

根據元數據聚合開關判斷是否啟動存儲桶元數據聚合掃描線程；

如果啟動元數據聚合掃描線程，則對每一個桶索引分片，按照設置的對象個數N進行元數據聚合后存儲到桶索引分片上，否則結束。

存儲服務開啟時，立即根據元數據聚合開關判斷是否啟動存儲桶元數據聚合掃描線程。

啟動元數據聚合掃描線程后，掃描線程在設定的時間段內，掃描每一個存儲桶的桶索引分片。

進行元數據聚合時，對于K1-V1,K2-V2,…,KN-VN,N個對象的元數據，組織成一個新的K-V結構：(K1,K2,…KN)-(V1,V2…VN)存儲到桶索引分片上。

數據聚合以后，刪除原有元數據信息。

一種對象元數據聚合的讀取方法，對象元數據采用所述一種對象元數據聚合方法進行聚合，當需要讀寫已經聚合后的對象元數據時，首先需要讀取存儲桶的索引分片信息，然后逐步找到對應對象的元數據信息。

一種對象元數據聚合裝置，包括：

配置模塊，用于配置元數據聚合的對象個數N和元數據聚合開關；

判斷模塊，用于根據元數據聚合開關判斷是否啟動存儲桶元數據聚合掃描線程；

執行模塊，如果啟動元數據聚合掃描線程，則對每一個桶索引分片，按照設置的對象個數N進行元數據聚合后存儲到桶索引分片上，否則結束。

一種設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現所述一種對象元數據聚合方法的步驟。

一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現所述的一種對象元數據聚合方法的步驟。

本發明的有益效果：