[發明專利]基于Hudi的數據查詢方法、裝置、設備及存儲介質

在審

• 申請號: 202110467163.0
• 申請日: 2021-04-28
• 公開（公告）號: CN113094340A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 霍元浩;李銳
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/13;G06F16/11;G06F16/182
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;丁蕓

1.一種基于Hudi的數據查詢方法，其特征在于，所述方法包括：

獲取查詢請求，解析所述查詢請求得到各謂詞字段；

判斷各所述謂詞字段是否均已建立ES索引、且各所述謂詞字段的查詢結果是否均存儲在ES存儲中；

若是，則根據各所述謂詞字段的ES索引查詢得到查詢結果；

若否，根據各所述謂詞字段查詢預設Hudi表，得到查詢結果。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在目標謂詞字段的查詢頻率大于第一頻率閾值時，建立所述目標謂詞字段的ES索引，并基于所述目標謂詞字段的ES索引，建立所述目標謂詞字段與相應的主鍵字段和/或分區字段的二級索引；

在所述目標謂詞字段的查詢頻率大于第二頻率閾值時，將所述目標謂詞字段的查詢結果存儲在所述ES存儲中。

3.根據權利要求2所述的方法，其特征在于，所述根據各所述謂詞字段查詢預設Hudi表，得到查詢結果，包括：

若各所述謂詞字段中即不存在主鍵字段又不存在分區字段，則查詢ES索引得到各所述謂詞字段對應的主鍵字段和/或分區字段，得到目標主鍵字段和/或目標分區字段；

根據所述目標主鍵字段和/或所述目標分區字段查詢預設Hudi表，得到查詢結果。

4.根據權利要求1所述的方法，其特征在于，所述根據各所述謂詞字段查詢預設Hudi表，得到查詢結果，包括：

若各所述謂詞字段中僅存在分區字段，則根據各所述謂詞字段的分區字段，對所述預設Hudi表進行分區過濾查詢，得到查詢結果；

若各所述謂詞字段中僅存在主鍵字段，則根據各所述謂詞字段的主鍵字段進行預設Hudi表掃描，得到查詢結果；

若各所述謂詞字段中同時存在主鍵字段與分區字段，則根據各所述謂詞字段的分區字段查詢預設Hudi表，得到對應的分區數據；并根據各所述謂詞字段的主鍵字段，在所述對應的分區數據中進行主鍵過濾及布隆過濾，得到查詢結果。

5.根據權利要求1-4任一所述的方法，其特征在于，所述預設Hudi表為存儲在內存中的Hudi表快照，所述方法還包括：

每當源Hudi表中的元數據變更后，更新所述內存中的Hudi表快照。

6.根據權利要求1-4任一所述的方法，其特征在于，所述預設Hudi表為存儲在內存中的Hudi表快照，所述方法還包括：

獲取源Hudi表的版本號，檢測所述源Hudi表的版本號與所述內存中的Hudi表快照的版本號是否相同，其中，當所述源Hudi表中的元數據變更后，所述源Hudi表的版本號相應變更；

若二者的版本號不同，則根據所述源Hudi表更新所述內存中的Hudi表快照。

7.一種基于Hudi的數據查詢裝置，其特征在于，所述裝置包括：

謂詞字段獲取模塊，用于獲取查詢請求，解析所述查詢請求得到各謂詞字段；

ES索引判斷模塊，用于判斷各所述謂詞字段是否均已建立ES索引、且各所述謂詞字段的查詢結果是否均存儲在ES存儲中；若是則運行ES表查詢模塊，若否則運行Hudi表查詢模塊；

ES表查詢模塊，用于根據各所述謂詞字段的ES索引查詢得到查詢結果；

Hudi表查詢模塊，用于根據各所述謂詞字段查詢預設Hudi表，得到查詢結果。

8.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：

二級索引建立模塊，用于在目標謂詞字段的查詢頻率大于第一頻率閾值時，建立所述目標謂詞字段的ES索引，并基于所述目標謂詞字段的ES索引，建立所述目標謂詞字段與相應的主鍵字段和/或分區字段的二級索引；

查詢結果緩存模塊，用于在所述目標謂詞字段的查詢頻率大于第二頻率閾值時，將所述目標謂詞字段的查詢結果存儲在所述ES存儲中。