[發(fā)明專利]數(shù)據(jù)查詢方法、裝置、計算機設備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011644405.0
• 申請日: 2020-12-30
• 公開（公告）號: CN112650759B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設計）人: 羅華
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/2455;G06F16/2453
• 代理公司: 深圳市賽恩倍吉知識產(chǎn)權(quán)代理有限公司 44334
• 代理人: 劉麗華

1.一種數(shù)據(jù)查詢方法，其特征在于，所述方法包括：

將異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)存儲在ClickHouse集群中，并采用哈希函數(shù)集合將所述ClickHouse集群中的數(shù)據(jù)進行分區(qū)分桶存儲；

當接收到數(shù)據(jù)查詢請求時，通過網(wǎng)關對所述數(shù)據(jù)查詢請求進行攔截操作，并提取所述數(shù)據(jù)查詢請求中查詢數(shù)據(jù)的數(shù)據(jù)編碼；

對所述數(shù)據(jù)編碼進行映射，得到所述ClickHouse集群中的引擎標識；

根據(jù)所述引擎標識對所述數(shù)據(jù)查詢請求進行協(xié)議轉(zhuǎn)換成引擎查詢請求；

路由所述引擎查詢請求到所述引擎標識對應的引擎中進行數(shù)據(jù)查詢。

2.如權(quán)利要求1所述的數(shù)據(jù)查詢方法，其特征在于，所述采用哈希函數(shù)集合將所述ClickHouse集群中的數(shù)據(jù)進行分區(qū)分桶存儲包括：

從哈希函數(shù)集合中任意選取K個哈希函數(shù)構(gòu)造多個哈希函數(shù)子集；

根據(jù)所述多個哈希函數(shù)子集在ClickHouse集群中創(chuàng)建多個分區(qū)，并計算每個分區(qū)的分區(qū)索引；

采用每個哈希函數(shù)子集中的每個哈希函數(shù)將所述數(shù)據(jù)映射到哈希桶中；

根據(jù)所述哈希桶的個數(shù)確定存儲所述數(shù)據(jù)的多個目標分區(qū)，并將所述多個目標分區(qū)的分區(qū)索引進行順序排序，將所述數(shù)據(jù)存儲于排序在第一的分區(qū)索引對應的目標分區(qū)中。

3.如權(quán)利要求2所述的數(shù)據(jù)查詢方法，其特征在于，所述根據(jù)所述多個哈希函數(shù)子集在ClickHouse集群中創(chuàng)建多個分區(qū)，并計算每個分區(qū)的分區(qū)索引包括：

計算所述多個哈希函數(shù)子集的子集數(shù)；

根據(jù)所述子集數(shù)在ClickHouse集群中創(chuàng)建多個分區(qū)，每個分區(qū)對應一個哈希函數(shù)子集；

確定每個哈希函數(shù)子集中每個哈希函數(shù)在所述哈希函數(shù)集合中的位置索引；

根據(jù)每個哈希函數(shù)子集中的多個位置索引計算對應所述哈希函數(shù)子集的分區(qū)的分區(qū)索引。

4.如權(quán)利要求1所述的數(shù)據(jù)查詢方法，其特征在于，所述根據(jù)所述引擎標識對所述數(shù)據(jù)查詢請求進行協(xié)議轉(zhuǎn)換成引擎查詢請求包括：

解析所述數(shù)據(jù)查詢請求得到第一IP地址和第一端口地址；

根據(jù)所述引擎標識更新所述第一IP地址得到第二IP地址；

根據(jù)所述引擎標識更新所述第一端口地址得到第二端口地址；

基于所述第二IP地址及所述第二端口地址生成引擎查詢請求。

5.如權(quán)利要求1至4中任意一項所述的數(shù)據(jù)查詢方法，其特征在于，所述將異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)存儲在ClickHouse集群中包括：

識別所述異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)的數(shù)據(jù)源；

當所述數(shù)據(jù)源為第一類型數(shù)據(jù)源時，匹配與所述第一類型數(shù)據(jù)源對應的第一引擎，并采用所述第一引擎將所述第一類型數(shù)據(jù)源中的數(shù)據(jù)存儲在ClickHouse集群中；

當所述數(shù)據(jù)源為第二類型數(shù)據(jù)源時，匹配與所述第二類型數(shù)據(jù)源對應的第二引擎，并采用所述第二引擎將所述第二類型數(shù)據(jù)源中的數(shù)據(jù)存儲在ClickHouse集群中。

6.如權(quán)利要求5所述的數(shù)據(jù)查詢方法，其特征在于，所述采用所述第一引擎將所述第一類型數(shù)據(jù)源中的數(shù)據(jù)存儲在ClickHouse集群中包括：

提取所述第一類型數(shù)據(jù)源中的數(shù)據(jù)的第一字段；

將所述第一字段的字段類型映射為所述ClickHouse集群中的第二字段的字段類型；

采用所述第一引擎基于所述第二字段的字段類型將所述第一類型數(shù)據(jù)源中的數(shù)據(jù)存儲在ClickHouse集群中。

7.如權(quán)利要求1至4中任意一項所述的數(shù)據(jù)查詢方法，其特征在于，所述方法還包括：

響應于所述ClickHouse集群中的目標引擎的更換指令，獲取所述目標引擎的目標引擎標識；

確定所述目標引擎中的目標數(shù)據(jù)的目標數(shù)據(jù)編碼；

根據(jù)所述目標數(shù)據(jù)編碼及所述目標引擎標識對所述網(wǎng)關進行染色處理。