[發明專利]基于ClickHouse字典表的大數據查詢方法、系統和介質

有效

• 申請號: 202110946635.0
• 申請日: 2021-08-18
• 公開（公告）號: CN113407548B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 張杰;徐健;任翔;袁有雷;朱宏峰;閔克東;支萌萌;曹榮
• 申請（專利權）人: 南京網覺軟件有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453;G06F16/2455;G06F16/28
• 代理公司: 江蘇瑞途律師事務所 32346
• 代理人: 李維朝;計璐

1.一種基于ClickHouse字典表的大數據查詢方法，其特征在于，

（1）創建字典表：根據鍵-值映射要求，設置需要同步到字典表的字段；從指定數據源同步相應字段的數據至字典表；

（2）配置dataCube：針對dataCube配置中需要以鍵-值映射方式顯示的dimension字段，在dimension字段的配置信息中添加字典表名稱，以及該字典表中與dimension字段對應的字段名、需要以映射值方式顯示的字段名，生成與該dimension字段關聯的字典結構；

（3）大數據查詢：接收查詢指令，所述查詢指令包括查詢的字段A，讀取dataCube配置信息，如果字段A匹配有dimension字段，且該dimension字段配置有字典表，構建從數據庫獲取字段A的SQL查詢語句，該SQL查詢語句還包括從字典表獲取字段A所對應的以映射值方式顯示的字段的語句；然后返回查詢結果；

所述查詢指令還包括對需要以映射值方式顯示的字段的限縮性查詢條件，所述SQL查詢語句包括利用限縮性查詢條件進行查詢的語句；

字段A為數據型數據且由其他字段計算得到時，設置measure字段獲得字段A的計算公式，所述SQL查詢語句包括從數據庫獲取計算字段A所需要的其他字段的語句。

2.根據權利要求1所述的基于ClickHouse字典表的大數據查詢方法，其特征在于，創建字典表時，配置有端口、賬號和密碼，自動從指定數據源同步數據。

3.根據權利要求1所述的基于ClickHouse字典表的大數據查詢方法，其特征在于，創建字典表時，配置有更新周期，自動根據更新周期從指定數據源同步數據。

4.一種基于ClickHouse字典表的大數據查詢系統，其特征在于，包括字典表創建模塊、dataCube配置模塊、SQL語句生成與執行模塊；

所述字典表創建模塊根據鍵-值映射要求，設置需要同步到字典表的字段；從指定數據源同步相應字段的數據至字典表；

所述dataCube配置模塊針對需要以鍵-值映射方式顯示的字段，在dataCube配置中添加dimension字段，在dimension字段的配置信息中添加字典表名稱，以及該字典表中與dimension字段對應的字段名、需要以映射值方式顯示的字段名，生成與該dimension字段關聯的字典結構；

所述SQL語句生成與執行模塊接收查詢指令，讀取dataCube配置信息，如果所述查詢指令中包括的字段A匹配有dimension字段，且該dimension字段配置有字典表，則構建從數據庫獲取字段A的SQL查詢語句，該SQL查詢語句還包括從字典表獲取字段A所對應的以映射值方式顯示的字段的語句；然后執行SQL語句并返回查詢結果。

5.根據權利要求4所述的基于ClickHouse字典表的大數據查詢系統，其特征在于，所述查詢指令還包括對需要以映射值方式顯示的字段的限縮性查詢條件，所述SQL語句生成與執行模塊構建的SQL查詢語句包括利用限縮性查詢條件進行查詢的語句。

6.根據權利要求4所述的基于ClickHouse字典表的大數據查詢系統，其特征在于，所述字典表創建模塊根據配置的端口、賬號和密碼，自動從指定數據源同步數據，和/或，所述字典表創建模塊根據配置的更新周期，自動根據更新周期從指定數據源同步數據。

7.根據權利要求4所述的基于ClickHouse字典表的大數據查詢系統，其特征在于，字段A由其他字段計算得到，所述dataCube配置模塊添加的measure字段包括獲得字段A的計算公式，所述SQL語句生成與執行模塊生成的SQL查詢語句包括從數據庫獲取計算字段A所需要的其他字段的語句。

8.一種存儲介質，其特征在于，其上存儲有計算機程序，該程序被執行時，實現權利要求1-3任意一項所述的基于ClickHouse字典表的大數據查詢方法。