[發(fā)明專利]一種基于Clickhouse頻繁刪改查優(yōu)化的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011111740.4
• 申請(qǐng)日: 2020-10-16
• 公開（公告）號(hào): CN112269802A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 周小潤(rùn);劉躍紅;管正爽
• 申請(qǐng)（專利權(quán)）人: 銀盛支付服務(wù)股份有限公司
• 主分類號(hào): G06F16/2453
• 分類號(hào): G06F16/2453;G06F16/23;G06F16/21;G06F16/27;G06F16/28
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 張勇

1.一種基于Clickhouse頻繁刪改查優(yōu)化的方法，其特征在于，該方法包括以下的步驟：

S1、數(shù)據(jù)的同步，同步原始數(shù)據(jù)庫(kù)中的實(shí)時(shí)操作日志數(shù)據(jù)解析存儲(chǔ)到kafka集群和mongodb；

S2、流水?dāng)?shù)據(jù)的消費(fèi)，應(yīng)用端Application分別同kafka集群、mongodb以及clickhouse集群相連，當(dāng)應(yīng)用端Application消費(fèi)流水?dāng)?shù)據(jù)，應(yīng)用端Application則先去查詢mongodb的數(shù)據(jù)，如若查詢不到，則再去查詢clickhouse集群的數(shù)據(jù)；

S3、對(duì)查詢數(shù)據(jù)的操作，當(dāng)應(yīng)用端Application在mongodb查詢到數(shù)據(jù)后，更新該數(shù)據(jù)或者刪除該數(shù)據(jù)，則直接操作mongodb；當(dāng)應(yīng)用端Application未在mongodb查詢到數(shù)據(jù)，而在clickhouse集群查詢到數(shù)據(jù)后，則將Application的查詢記錄回寫到前置的mongodb提供查詢；

S4、增量數(shù)據(jù)的定時(shí)同步，mongodb與clickhouse集群相連接，mongodb定時(shí)同步增量數(shù)據(jù)至clickhouse集群。

2.根據(jù)權(quán)利要求1所述的一種基于Clickhouse頻繁刪改查優(yōu)化的方法，其特征在于，所述的步驟S1中，所述的原始數(shù)據(jù)庫(kù)為Oracle數(shù)據(jù)庫(kù)或Mysql數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求1所述的一種基于Clickhouse頻繁刪改查優(yōu)化的方法，其特征在于，所述的步驟S1中，采用OGG或Canal實(shí)現(xiàn)數(shù)據(jù)的同步。

4.根據(jù)權(quán)利要求1所述的一種基于Clickhouse頻繁刪改查優(yōu)化的方法，其特征在于，所述的步驟S2中，當(dāng)應(yīng)用端Application查詢最近三天的數(shù)據(jù)時(shí)，則去mongodb中查詢。

5.根據(jù)權(quán)利要求4所述的一種基于Clickhouse頻繁刪改查優(yōu)化的方法，其特征在于，所述的步驟S2中，當(dāng)應(yīng)用端Application查詢歷史數(shù)據(jù)時(shí)，則去clickhouse集群中查詢。

6.根據(jù)權(quán)利要求1所述的一種基于Clickhouse頻繁刪改查優(yōu)化的方法，其特征在于，所述的步驟S4中，通過(guò)定時(shí)同步增量數(shù)據(jù)至clickhouse集群，以保證clickhouse集群數(shù)據(jù)的完整性。

7.一種基于Clickhouse頻繁刪改查優(yōu)化的系統(tǒng)，其特征在于，該系統(tǒng)包括原始數(shù)據(jù)庫(kù)、kafka集群、mongodb、應(yīng)用端Application以及clickhouse集群；

所述的原始數(shù)據(jù)庫(kù)，用于存儲(chǔ)實(shí)時(shí)操作日志數(shù)據(jù)；

所述的kafka集群和mongodb，分別與原始數(shù)據(jù)庫(kù)相連，同步原始數(shù)據(jù)庫(kù)中的實(shí)時(shí)操作日志數(shù)據(jù)解析存儲(chǔ)到kafka集群和mongodb；

所述的應(yīng)用端Application，分別同kafka集群、mongodb以及clickhouse集群相連，該應(yīng)用端Application用于實(shí)現(xiàn)對(duì)mongodb的數(shù)據(jù)查詢以及對(duì)clickhouse集群的數(shù)據(jù)查詢；

所述的clickhouse集群，與mongodb相連，mongodb定時(shí)同步增量數(shù)據(jù)至clickhouse集群。

8.根據(jù)權(quán)利要求7所述的一種基于Clickhouse頻繁刪改查優(yōu)化的系統(tǒng)，其特征在于，所述的原始數(shù)據(jù)庫(kù)為Oracle數(shù)據(jù)庫(kù)或Mysql數(shù)據(jù)庫(kù)。

9.根據(jù)權(quán)利要求7所述的一種基于Clickhouse頻繁刪改查優(yōu)化的系統(tǒng)，其特征在于，所述應(yīng)用端Application查詢mongodb的數(shù)據(jù)為操作最近三天的數(shù)據(jù)。

10.根據(jù)權(quán)利要求7所述的一種基于Clickhouse頻繁刪改查優(yōu)化的系統(tǒng)，其特征在于，所述應(yīng)用端Application查詢clickhouse集群的數(shù)據(jù)為歷史數(shù)據(jù)。