[發明專利]元數據的存儲方法及裝置在審
| 申請號: | 202210432316.2 | 申請日: | 2022-04-22 |
| 公開(公告)號: | CN114896215A | 公開(公告)日: | 2022-08-12 |
| 發明(設計)人: | 田六合 | 申請(專利權)人: | 阿里巴巴(中國)有限公司 |
| 主分類號: | G06F16/172 | 分類號: | G06F16/172;G06F9/54 |
| 代理公司: | 北京同鈞律師事務所 16037 | 代理人: | 吳梅錫;許懷遠 |
| 地址: | 311121 浙江省杭州市余杭*** | 國省代碼: | 浙江;33 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數據 存儲 方法 裝置 | ||
1.一種元數據的存儲方法,其特征在于,所述方法包括:
接收消息隊列的元數據的存儲請求;
將所述消息隊列的元數據合并為有限排序字符串表SST文件;
調用鍵值KV引擎將所述SST文件存儲在存儲設備的目標存儲位置,所述KV引擎在所述存儲設備上的寫入方式為并行追加寫入。
2.根據權利要求1所述的方法,其特征在于,在所述將所述消息隊列的元數據合并為有限排序字符串表SST文件之前,所述方法還包括:
確定所述消息隊列的元數據的數據量是否大于數據量閾值;
所述將所述消息隊列的元數據合并為有限排序字符串表SST文件,包括:
若所述消息隊列的元數據的數據量大于所述數據量閾值,則將所述消息隊列的元數據合并為所述SST文件。
3.根據權利要求2所述的方法,其特征在于,所述將所述消息隊列的元數據合并為所述SST文件,包括:
調用所述KV引擎的日志化結構合并LSM樹,將所述消息隊列的元數據合并為有所述SST文件;
其中,所述LSM樹用于將所述消息隊列的元數據由隨機寫入轉換為順序寫入。
4.根據權利要求2所述的方法,其特征在于,在所述確定所述消息隊列的元數據的數據量是否大于數據量閾值之后,所述方法還包括:
若所述消息隊列的元數據的數據量小于或等于所述數據量閾值,則調用分布式消息中間件引擎中的消息隊列模型,在本地文件系統中存儲所述消息隊列的元數據對應的SST文件。
5.根據權利要求1所述的方法,其特征在于,在所述調用所述鍵值KV引擎將所述SST文件存儲在存儲設備的目標存儲位置之前,所述方法還包括:
根據所述消息隊列的標題數據、所述消息隊列的標識符和所述消息隊列的偏移數據,確定所述目標存儲位置。
6.根據權利要求1所述的方法,其特征在于,在所述調用所述鍵值KV引擎將所述SST文件存儲在存儲設備的目標存儲位置之后,所述方法還包括:
根據所述SST文件的存儲時間信息和范圍信息,在所述SST文件上添加刪除標識;
調用所述KV引擎的過濾器刪除包含所述刪除標識的SST文件。
7.根據權利要求1-6任一項所述的方法,其特征在于,所述消息隊列的元數據包括所述消息隊列的索引數據。
8.一種元數據的存儲裝置,其特征在于,所述裝置包括:
接收模塊,用于接收消息隊列的元數據的存儲請求;
處理模塊,用于將所述消息隊列的元數據合并為有限排序字符串表SST文件;
存儲模塊,用于調用鍵值KV引擎將所述SST文件存儲在存儲設備的目標存儲位置,所述KV引擎在所述存儲設備上的寫入方式為并行追加寫入。
9.一種電子設備,其特征在于,包括:至少一個處理器和存儲器;
所述存儲器存儲計算機執行指令;
所述至少一個處理器執行所述存儲器存儲的計算機執行指令,使得所述至少一個處理器執行如權利要求1至7任一項所述的方法。
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質中存儲有計算機執行指令,當處理器執行所述計算機執行指令時,實現如權利要求1至7任一項所述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于阿里巴巴(中國)有限公司,未經阿里巴巴(中國)有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202210432316.2/1.html,轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置





