[發明專利]一種基于Kudu的對象存儲元數據管理裝置及方法

在審

• 申請號: 201811563187.0
• 申請日: 2018-12-20
• 公開（公告）號: CN109684331A
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 鄧光超;李朝銘
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

本發明公開了一種基于Kudu的對象存儲元數據管理裝置及方法，屬于數據庫領域，本發明要解決的技術問題為如何達到海量結構化存儲的目標，同時解決數據延遲，技術方案為：①一種基于Kudu的對象存儲元數據管理裝置，包括元數據管理模塊和對象數據存儲模塊，分別用于存儲、管理對象數據的元數據信息以及用于存儲管理對象數據。②一種基于Kudu的對象存儲元數據管理方法，該方法是利用元數據管理模塊完成對象數據的插入、獲取、更新及刪除，同時存儲并管理對象數據的元數據信息；再利用對象數據存儲模塊完成對象數據的存儲，在kudu結構化存儲的基礎上擴展了非對象存儲，對象數據存儲模塊利用CMSP進行消息的發送以及緩存，最終數據存儲至文件系統或裸設備中。

技術領域

本發明涉及數據庫領域，具體地說是一種基于Kudu的對象存儲元數據管理裝置及方法。

背景技術

Hadoop生態系統有很多組件，每一個組件有不同的功能。在現實場景中，用戶往往需要同時部署很多Hadoop工具來解決一個問題。比如，用戶需要利用Hbase的快速插入、快讀random access的特性來導入數據，同時用戶使用HDFS/Parquet+Impala/Hive來對超大的數據集進行查詢分析。很多公司都成功地部署了HDFS/Parquet+HBase混合架構，然而這種架構較為復雜，而且在維護上也十分困難，還會產生數據的延遲。故如何達到海量結構化存儲的目標，同時解決數據延遲是目前急需解決的技術問題。海量結構化存儲是以一種簡單的架構存儲結構化數據，達到Hbase快速導入快速查詢、Parquet超大數據分析的效果，同時解決數據延遲問題。

專利號為CN108563923A專利文獻公開了一種基因變異數據分布式存儲方法及架構，該方法包括分布式數據存儲過程、分布式位圖索引創建過程和分布式查詢檢索過程；該架構包括分布式列式存儲模塊、分布式位圖索引模塊和查詢檢索模塊。但是該技術方案不能實現海量結構化存儲的目標，同時解決數據延遲的問題。

發明內容

本發明的技術任務是提供一種基于Kudu的對象存儲元數據管理裝置及方法，來解決如何達到海量結構化存儲的目標，同時解決數據延遲的問題。

本發明的技術任務是按以下方式實現的，一種基于Kudu的對象存儲元數據管理裝置，包括,

元數據管理模塊，用于存儲、管理對象數據的元數據信息；元數據管理模塊通過OSMetadata(元數據)守護進程模塊進行工作；

對象數據存儲模塊，用于存儲管理對象數據；對象數據存儲模塊利用CMSP(云消息服務平臺)進行消息的發送以及緩存，并最終進行存儲，最終數據存儲至文件系統或裸設備中。

作為優選，所述元數據信息存儲在元數據表中，元數據表為內置kudu表；

元數據信息包括對象數據名字、對象數據存儲id、對象數據長度、對象數據版本和時間戳；

其中，對象數據名字(name)表示對象數據在對象存儲服務中的唯一標識；

對象數據存儲id表示對象數據存儲的節點信息以及存儲位置信息；

對象數據長度(len)表示對象數據的長度，以字節為單位；

對象數據版本表示元數據的信息的版本號，新插入時默認為0，后續進行對象數據更新版本號發生變化，通過該版本號保證元數據信息的一致性；

時間戳(time)表示對象數據發生變化時的時間戳。

更優地，所述OSMetadata(元數據)守護進程模塊包括，

對象數據插入模塊，用于對象數據插入操作，從對象存儲服務節點中獲取對應的元數據信息并進行插入操作；

對象數據獲取模塊，用于對象數據獲取操作，從元數據表中獲取相關的元數據信息并到對應的對象存儲服務節點中獲取元數據；