[發明專利]一種元數據處理方法、裝置及電子設備和存儲介質

有效

• 申請號: 202110326013.8
• 申請日: 2021-03-26
• 公開（公告）號: CN113064859B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 陶桐桐
• 申請（專利權）人: 山東英信計算機技術有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/178;G06F11/07
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 史翠

本申請公開了一種元數據處理方法、裝置及一種電子設備和計算機可讀存儲介質，該方法包括：讀取存儲桶中桶索引分片上的原始元數據信息，并對同一桶索引分片上的原始元數據信息進行聚合操作，得到聚合元數據信息；將聚合元數據信息保存至桶索引元數據分片上，將聚合元數據信息的屬性信息保存至桶索引分片上；刪除桶索引分片上的原始元數據信息。由此可見，本申請提供的元數據處理方法，減少了單個桶索引分片的大小，從而提升了故障恢復時的重構速度和站點間的同步速度。

技術領域

本申請涉及計算機技術領域，更具體地說，涉及一種元數據處理方法、裝置及一種電子設備和一種計算機可讀存儲介質。

背景技術

在大數據時代，對象存儲服務(Object Storage Service，OSS)是一種新興的海量、安全、低成本、高可靠的云存儲服務，適合存放非結構化的數據。一般來說，每個存儲桶有多個索引分片，對象的元數據通過哈希計算存儲在各個索引分片上。隨著桶內對象越來越多，達到上億級別，每個桶索引分片上記錄的對象元數據信息就會越來越多。

集群故障后，恢復時需要對存儲的數據和元數據進行重構，數據和元數據越多，數據量越大，重構的速度就越慢。站點間的同步需要同步數據和元數據，數據和元數據越多，數據量越大，同步速度就越慢。可見，元數據量大會導致故障恢復時重構速度變慢、站點間的同步速度慢。

因此，如何減少單個桶索引分片的大小，從而提升故障恢復時的重構速度和站點間的同步速度是本領域技術人員需要解決的技術問題。

發明內容

本申請的目的在于提供一種元數據處理方法、裝置及一種電子設備和一種計算機可讀存儲介質，減少了單個桶索引分片的大小，從而提升了故障恢復時的重構速度和站點間的同步速度。

為實現上述目的，本申請提供了一種元數據處理方法，包括：

讀取存儲桶中桶索引分片上的原始元數據信息，并對同一桶索引分片上的原始元數據信息進行聚合操作，得到聚合元數據信息；

將所述聚合元數據信息保存至桶索引元數據分片上，將所述聚合元數據信息的屬性信息保存至所述桶索引分片上；

刪除所述桶索引分片上的所述原始元數據信息。

其中，所述對同一桶索引分片上的原始元數據信息進行聚合操作，得到聚合元數據信息，包括：

確定聚合對象數量，對同一桶索引分片上的原始元數據信息進行聚合操作，使得聚合元數據信息包含的對象數量為所述聚合對象數量。

其中，若所述原始元數據信息以鍵值對的形式保存在所述桶索引分片上，則所述對同一桶索引分片上的原始元數據信息進行聚合操作，得到聚合元數據信息，包括：

對同一桶索引分片上的原始元數據信息中的鍵和值分別進行聚合操作，得到聚合元數據信息的聚合鍵和聚合值；

相應的，將所述聚合元數據信息保存至桶索引元數據分片上，包括：

將所述聚合元數據信息以鍵值對的形式保存至桶索引元數據分片上。

其中，所述對同一桶索引分片上的原始元數據信息進行聚合操作，包括：

確定所述存儲桶中桶索引分片的數量，并創建對應數量的元數據聚合線程；

利用所述元數據聚合線程對對應桶索引分片上的原始元數據信息進行聚合操作；其中，所述元數據聚合線程與所述桶索引分片一一對應。

其中，所述讀取存儲桶中桶索引分片上的原始元數據信息之前，還包括：

判斷是否開啟元數據聚合；

若是，則執行所述讀取存儲桶中桶索引分片上的原始元數據信息的步驟。