[發(fā)明專(zhuān)利]一種基于Clickhouse頻繁刪改查優(yōu)化的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011111740.4
• 申請(qǐng)日: 2020-10-16
• 公開(kāi)（公告）號(hào): CN112269802A
• 公開(kāi)（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 周小潤(rùn);劉躍紅;管正爽
• 申請(qǐng)（專(zhuān)利權(quán)）人: 銀盛支付服務(wù)股份有限公司
• 主分類(lèi)號(hào): G06F16/2453
• 分類(lèi)號(hào): G06F16/2453;G06F16/23;G06F16/21;G06F16/27;G06F16/28
• 代理公司: 深圳市深可信專(zhuān)利代理有限公司 44599
• 代理人: 張勇

本發(fā)明公開(kāi)了一種基于Clickhouse頻繁刪改查優(yōu)化的方法及系統(tǒng)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域；該方法包括以下的步驟：S1、數(shù)據(jù)的同步，同步原始數(shù)據(jù)庫(kù)中的實(shí)時(shí)操作日志數(shù)據(jù)解析存儲(chǔ)到kafka集群和mongodb；S2、流水?dāng)?shù)據(jù)的消費(fèi)，應(yīng)用端Application分別同kafka集群、mongodb以及clickhouse集群相連，當(dāng)應(yīng)用端Application消費(fèi)流水?dāng)?shù)據(jù)，應(yīng)用端Application則先去查詢(xún)mongodb的數(shù)據(jù)，如若查詢(xún)不到，則再去查詢(xún)clickhouse集群的數(shù)據(jù)；S3、對(duì)查詢(xún)數(shù)據(jù)的操作；S4、增量數(shù)據(jù)的定時(shí)同步；本發(fā)明的有益效果是：能夠支持快速實(shí)時(shí)插入和更新的操作，針對(duì)實(shí)時(shí)數(shù)據(jù)支持高并發(fā)查詢(xún)。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體的說(shuō)，本發(fā)明涉及一種基于Clickhouse頻繁刪改查優(yōu)化的方法及系統(tǒng)。

背景技術(shù)

目前大數(shù)據(jù)已經(jīng)廣泛應(yīng)用在金融、電子商務(wù)、物流、企業(yè)政務(wù)等領(lǐng)域，最近這些年開(kāi)始應(yīng)用于產(chǎn)業(yè)互聯(lián)網(wǎng)，在5G時(shí)代隨著萬(wàn)物互聯(lián)進(jìn)程加速，海量數(shù)據(jù)的存儲(chǔ)以及海量數(shù)據(jù)的實(shí)時(shí)查詢(xún)以及OLAP分析帶來(lái)了挑戰(zhàn)。Clickhouse以其突出的查詢(xún)以及寫(xiě)入性能正在廣泛地應(yīng)用于實(shí)時(shí)處理以及OLAP在線(xiàn)分析，有些系統(tǒng)可以單獨(dú)存儲(chǔ)單獨(dú)列的值，但由于其他場(chǎng)景的優(yōu)化，無(wú)法有效處理分析查詢(xún)，例如HBase，BigTable，Cassandra和HyperTable。在這些系統(tǒng)中，每秒鐘可以獲得大約十萬(wàn)行的吞吐量，但是無(wú)法像Clickhouse那樣每秒高達(dá)數(shù)億行。

Clickhouse是Yandex.Metrica世界第二大Web分析平臺(tái)而開(kāi)發(fā)的。多年來(lái)一直作為該系統(tǒng)的核心組件被該系統(tǒng)持續(xù)使用著。目前為止，該系統(tǒng)在ClickHouse中有超過(guò)13萬(wàn)億條記錄，并且每天超過(guò)200多億個(gè)事件被處理。它允許直接從原始數(shù)據(jù)中動(dòng)態(tài)查詢(xún)并生成報(bào)告。目前廣泛運(yùn)用在實(shí)時(shí)報(bào)表，在線(xiàn)實(shí)時(shí)分析，用戶(hù)畫(huà)像，智能推薦系統(tǒng)等場(chǎng)景。但是Clickhouse使用過(guò)程中也存在其固有的缺點(diǎn)，這其中面臨一些需要解決的技術(shù)點(diǎn)：

1、不支持事務(wù)，不支持真正的刪除/更新；

2、不支持高并發(fā)，官方建議qps為100，可以通過(guò)修改配置文件增加連接數(shù)，但是在服務(wù)器足夠好的情況下；

3、不適合做實(shí)時(shí)插入或小批量的insert，update，delete操作，因?yàn)镃lickHouse底層會(huì)不斷的做異步的數(shù)據(jù)合并，會(huì)影響查詢(xún)性能，這個(gè)在做實(shí)時(shí)數(shù)據(jù)寫(xiě)入的時(shí)候要盡量避開(kāi)。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于Clickhouse頻繁刪改查優(yōu)化的方法及系統(tǒng)，能夠支持快速實(shí)時(shí)插入和更新的操作，針對(duì)實(shí)時(shí)數(shù)據(jù)支持高并發(fā)查詢(xún)。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：一種基于Clickhouse頻繁刪改查優(yōu)化的方法，其改進(jìn)之處在于，該方法包括以下的步驟：

S1、數(shù)據(jù)的同步，同步原始數(shù)據(jù)庫(kù)中的實(shí)時(shí)操作日志數(shù)據(jù)解析存儲(chǔ)到kafka集群和mongodb；

S2、流水?dāng)?shù)據(jù)的消費(fèi)，應(yīng)用端Application分別同kafka集群、mongodb以及clickhouse集群相連，當(dāng)應(yīng)用端Application消費(fèi)流水?dāng)?shù)據(jù)，應(yīng)用端Application則先去查詢(xún)mongodb的數(shù)據(jù)，如若查詢(xún)不到，則再去查詢(xún)clickhouse集群的數(shù)據(jù)；

S3、對(duì)查詢(xún)數(shù)據(jù)的操作，當(dāng)應(yīng)用端Application在mongodb查詢(xún)到數(shù)據(jù)后，更新該數(shù)據(jù)或者刪除該數(shù)據(jù)，則直接操作mongodb；當(dāng)應(yīng)用端Application未在mongodb查詢(xún)到數(shù)據(jù)，而在clickhouse集群查詢(xún)到數(shù)據(jù)后，則將Application的查詢(xún)記錄回寫(xiě)到mongodb提供查詢(xún)；

S4、增量數(shù)據(jù)的定時(shí)同步，mongodb與clickhouse集群相連接，mongodb定時(shí)同步增量數(shù)據(jù)至clickhouse集群。