[發明專利]元數據的存儲方法及裝置

在審

• 申請號: 202210432316.2
• 申請日: 2022-04-22
• 公開（公告）號: CN114896215A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 田六合
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F9/54
• 代理公司: 北京同鈞律師事務所 16037
• 代理人: 吳梅錫;許懷遠

本申請提供一種元數據的存儲方法及裝置，該方法包括：接收消息隊列的元數據的存儲請求；將所述消息隊列的元數據合并為有限排序字符串表SST文件；調用鍵值KV引擎將所述SST文件存儲在存儲設備的目標存儲位置，所述KV引擎在所述存儲設備上的寫入方式為并行追加寫入。通過該方式，由于將元數據合并為SST文件并采用KV引擎追加寫入存儲設備，從而提高了消息隊列的元數據的讀寫性能。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種元數據的存儲方法及裝置。

背景技術

消息隊列是分布式系統的重要組成部分，通常用于解決應用耦合、異步消息、流量削峰等問題。隨著越來越多的應用接入消息隊列的處理機制，消息隊列的元數據的存儲問題亟需解決。

相關技術中，消息隊列的元數據通常通過服務器的本地磁盤進行存儲。當存儲在本地磁盤的消息隊列的元數據需要進行維護時，可以通過本地文件系統，進行數據讀寫、數據刪除以及消費點位的更新等操作。

然而，若將消息隊列的元數據存儲在服務器的本地磁盤時，每次元數據變更均需要全量更新并持久化到本地文件系統，再序列化該消息隊列的元數據文件并持久化到本地磁盤。當消息隊列的元數據的數據量較多時，可能會存在消息隊列的元數據的讀寫性能不高的問題。

發明內容

本申請實施例提供一種元數據的存儲方法及裝置，以解決現有技術中消息隊列的元數據的讀寫性能不高的問題。

第一方面，本申請實施例提供一種元數據的存儲方法，所述方法包括：

接收消息隊列的元數據的存儲請求；

將所述消息隊列的元數據合并為有限排序字符串表SST文件；

調用鍵值KV引擎將所述SST文件存儲在存儲設備的目標存儲位置，所述KV引擎在所述存儲設備上的寫入方式為并行追加寫入。

一種可選的實施方式中，在所述將所述消息隊列的元數據合并為有限排序字符串表SST文件之前，所述方法還包括：

確定所述消息隊列的元數據的數據量是否大于數據量閾值；

所述將所述消息隊列的元數據合并為有限排序字符串表SST文件，包括：

若所述消息隊列的元數據的數據量大于所述數據量閾值，則將所述消息隊列的元數據合并為有限排序字符串表SST文件。

一種可選的實施方式中，所述將所述消息隊列的元數據合并為有限排序字符串表SST文件，包括：

調用所述KV引擎的日志化結構合并LSM樹，將所述消息隊列的元數據合并為有限排序字符串表SST文件；

其中，所述LSM樹用于將所述消息隊列的元數據由隨機寫入轉換為順序寫入。

一種可選的實施方式中，在所述確定所述消息隊列的元數據的數據量是否大于數據量閾值之后，所述方法還包括：

若所述消息隊列的元數據的數據量小于或等于所述數據量閾值，則調用分布式消息中間件引擎中的消息隊列模型，在本地文件系統中存儲所述消息隊列的元數據對應的SST文件。

一種可選的實施方式中，在所述調用所述鍵值KV引擎將所述SST文件存儲在存儲設備的目標存儲位置之前，所述方法還包括：

根據所述消息隊列的標題數據、所述消息隊列的標識符和所述消息隊列的偏移數據，確定所述目標存儲位置。

一種可選的實施方式中，在所述調用所述鍵值KV引擎將所述SST文件存儲在存儲設備的目標存儲位置之后，所述方法還包括：

根據所述SST文件的存儲時間信息和范圍信息，在所述SST文件上添加刪除標識；