[發(fā)明專利]基于ClickHouse字典表的大數(shù)據(jù)查詢方法、系統(tǒng)和介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110946635.0
• 申請日: 2021-08-18
• 公開（公告）號: CN113407548B
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計）人: 張杰;徐健;任翔;袁有雷;朱宏峰;閔克東;支萌萌;曹榮
• 申請（專利權(quán)）人: 南京網(wǎng)覺軟件有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453;G06F16/2455;G06F16/28
• 代理公司: 江蘇瑞途律師事務(wù)所 32346
• 代理人: 李維朝;計璐

本發(fā)明公開一種基于ClickHouse字典表的大數(shù)據(jù)查詢方法、系統(tǒng)和介質(zhì)，屬于大數(shù)據(jù)技術(shù)領(lǐng)域。針對現(xiàn)有技術(shù)中存在的應(yīng)用ID和名稱對應(yīng)在遇到應(yīng)用名稱更新時無法對應(yīng)，影響數(shù)據(jù)查詢性能等問題，本發(fā)明提供一種基于ClickHouse字典表的數(shù)據(jù)分析方法，構(gòu)建外部字典表，并對字典表實時更新，在大數(shù)據(jù)查詢時可直接調(diào)用字典表ID對應(yīng)映射值進(jìn)行數(shù)據(jù)查詢，不需要掃描全表，極大降低了數(shù)據(jù)的處理量，本發(fā)明字典表保存在內(nèi)存中，有效解決多表關(guān)聯(lián)的性能損耗，并且支持動態(tài)更新，提高數(shù)據(jù)分析效率，提升系統(tǒng)整體性能。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，更具體地說，涉及一種基于ClickHouse字典表的大數(shù)據(jù)查詢方法、系統(tǒng)和介質(zhì)。

背景技術(shù)

在進(jìn)行數(shù)據(jù)分析時，會需要對數(shù)據(jù)的各種維度進(jìn)行查找，分類，統(tǒng)計等操作，用于發(fā)現(xiàn)和分析數(shù)據(jù)之間的差異。各種維度的數(shù)據(jù)在使用和傳輸中考慮到編碼和安全性等問題通常使用數(shù)字編號進(jìn)行命名，即我們常說的ID。在進(jìn)行數(shù)據(jù)分析時，純數(shù)字的ID結(jié)果，對于沒有經(jīng)過專業(yè)培訓(xùn)的用戶而言，難以理解其中的含義，因此產(chǎn)生鍵-值映射問題。

例如，一張包含m行財務(wù)數(shù)據(jù)的表A，表中包括貨幣字段，財務(wù)通常處理多種貨幣，貨幣用數(shù)字代碼表示，其中156代表人民幣，840 代表美元，在對表A分析時，需將貨幣字段時關(guān)聯(lián)額外的貨幣屬性，例如貨幣名稱和國家，用于更好的分析數(shù)據(jù)，這時會存在以下問題：

1、如果表A中沒有國家和貨幣名稱，需要再創(chuàng)建一張包含貨幣數(shù)字代碼，以及對應(yīng)國家和貨幣名稱的表B，此類方法稱為多表連接法。假設(shè)表B有n行，在查詢時通過JOIN （連接）A表和B表來實現(xiàn)在返回數(shù)據(jù)結(jié)果時有國家和貨幣名稱，這時后臺的數(shù)據(jù)處理量會從m行，上升成m*n行，極大影響查詢性能，幾乎無法在大數(shù)據(jù)分析時使用；

2、現(xiàn)有技術(shù)也會通過大寬表方法實現(xiàn)ID和名稱的匹配，但是如果表A中有國家和貨幣名稱，用戶又無法閱讀系統(tǒng)默認(rèn)顯示的國家和貨幣名稱語言，或出現(xiàn)國家名稱改變，國家名稱對應(yīng)不用的縮寫等情況時，需對表A的數(shù)據(jù)量進(jìn)行修改，通常來說，表A具有很大的數(shù)據(jù)量，修改難度很大。

發(fā)明內(nèi)容

本發(fā)明提供一種基于ClickHouse字典表的大數(shù)據(jù)查詢方法，在大數(shù)據(jù)查詢時可直接使用映射值進(jìn)行數(shù)據(jù)查詢，提高數(shù)據(jù)查詢效率，提升系統(tǒng)整體性能。

本發(fā)明提供的基于ClickHouse字典表的大數(shù)據(jù)查詢方法，包括：

（1）創(chuàng)建字典表：根據(jù)鍵-值映射要求，設(shè)置需要同步到字典表的字段；從指定數(shù)據(jù)源同步相應(yīng)字段的數(shù)據(jù)至字典表；

（2）配置dataCube：針對dataCube配置中需要以鍵-值映射方式顯示的dimension字段，在dimension字段的配置信息中添加字典表名稱，以及該字典表中與dimension字段對應(yīng)的字段名、需要以映射值方式顯示的字段名，生成與該dimension字段關(guān)聯(lián)的字典結(jié)構(gòu)；

（3）大數(shù)據(jù)查詢：接收查詢指令，所述查詢指令包括查詢的字段A，讀取dataCube配置信息，如果字段A匹配有dimension字段，且該dimension字段配置有字典表，構(gòu)建從數(shù)據(jù)庫獲取字段A的SQL查詢語句，該SQL查詢語句還包括從字典表獲取字段A所對應(yīng)的以映射值方式顯示的字段的語句；然后返回查詢結(jié)果。

本發(fā)明通過設(shè)置數(shù)據(jù)保存在內(nèi)存的字典表，在通過查詢數(shù)據(jù)庫獲得相關(guān)數(shù)據(jù)的同時，通過字典表獲得一些關(guān)聯(lián)數(shù)據(jù)，實現(xiàn)數(shù)據(jù)查詢過程中多表JOIN的效果的同時，有效解決了多表JOIN時對性能的損耗，大大提高了數(shù)據(jù)查詢效率。

優(yōu)選地，所述查詢指令還包括對需要以映射值方式顯示的字段的限縮性查詢條件，所述SQL查詢語句包括利用限縮性查詢條件進(jìn)行查詢的語句。

優(yōu)選地，創(chuàng)建字典表時，配置有端口、賬號和密碼，自動從指定數(shù)據(jù)源同步數(shù)據(jù)。

優(yōu)選地，創(chuàng)建字典表時，配置有更新周期，自動根據(jù)更新周期從指定數(shù)據(jù)源同步數(shù)據(jù)。