[發(fā)明專利]基于clickhouse的數(shù)據(jù)庫集群監(jiān)控方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011295416.2
• 申請日: 2020-11-18
• 公開（公告）號(hào): CN112422368A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 石志遠(yuǎn);李凡平;石柱國
• 申請（專利權(quán)）人: 青島以薩數(shù)據(jù)技術(shù)有限公司;北京以薩技術(shù)股份有限公司;安徽以薩數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): H04L12/26
• 分類號(hào): H04L12/26;H04L12/24;G06F16/27
• 代理公司: 北京酷愛智慧知識(shí)產(chǎn)權(quán)代理有限公司 11514
• 代理人: 鐘繼蓮

本發(fā)明公開的一種基于clickhouse的數(shù)據(jù)庫集群監(jiān)控方法，包括以下步驟：主節(jié)點(diǎn)監(jiān)控從節(jié)點(diǎn)的健康情況，接收各個(gè)從節(jié)點(diǎn)發(fā)送的健康檢查情況；主節(jié)點(diǎn)根據(jù)從節(jié)點(diǎn)發(fā)送的健康檢查情況判斷節(jié)點(diǎn)狀態(tài)是否正常；若節(jié)點(diǎn)狀態(tài)異常，主節(jié)點(diǎn)將異常節(jié)點(diǎn)信息分發(fā)給從節(jié)點(diǎn)；從節(jié)點(diǎn)接收并處理主節(jié)點(diǎn)發(fā)送的異常節(jié)點(diǎn)信息，根據(jù)異常節(jié)點(diǎn)信息移除集群中的異常節(jié)點(diǎn)。采用clickhouse數(shù)據(jù)庫實(shí)現(xiàn)了分布式高可用，不依賴zookeeper及其他分布式管理工具，避免了副本間數(shù)據(jù)交換，降低了服務(wù)器出現(xiàn)問題的概率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種基于clickhouse的數(shù)據(jù)庫集群監(jiān)控方法、系統(tǒng)、終端及介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的到來，能采集到的數(shù)據(jù)量呈幾何式增長，如何去處理分析這大數(shù)據(jù)量的數(shù)據(jù)成了各大應(yīng)用的首要目標(biāo)，clickhouse作為一個(gè)開源的數(shù)據(jù)分析數(shù)據(jù)庫就是其中高性能的代表。Clickhouse分布式有兩種，第一種是依靠clickhouse本身進(jìn)行分布式：默認(rèn)的分布式表配置，每個(gè)分片只有一份，這樣如果掛掉其中一個(gè)節(jié)點(diǎn)，則分布式查詢會(huì)報(bào)錯(cuò)。第二種是依靠zookeeper實(shí)現(xiàn)分布式，每個(gè)節(jié)點(diǎn)依靠zookeeper進(jìn)行協(xié)調(diào)同步，如果其中一個(gè)或幾個(gè)節(jié)點(diǎn)掛掉，不會(huì)影響查詢，但是依靠zookeeper分布式表在大數(shù)據(jù)量的情況下會(huì)導(dǎo)致副本過大，對zookeeper的負(fù)載較大，導(dǎo)致磁盤空間不足。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明實(shí)施例提供一種基于clickhouse的數(shù)據(jù)庫集群監(jiān)控方法、系統(tǒng)、終端及介質(zhì)，在默認(rèn)的分布式表配置下，如果存在節(jié)點(diǎn)掛掉，不影響分布式查詢。

第一方面，本發(fā)明實(shí)施例提供的一種基于clickhouse的數(shù)據(jù)庫集群監(jiān)控方法，包括以下步驟：

數(shù)據(jù)集群包括一個(gè)主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)；

主節(jié)點(diǎn)監(jiān)控從節(jié)點(diǎn)的健康情況，接收各個(gè)從節(jié)點(diǎn)發(fā)送的健康檢查情況；

主節(jié)點(diǎn)根據(jù)從節(jié)點(diǎn)發(fā)送的健康檢查情況判斷節(jié)點(diǎn)狀態(tài)是否正常；

若節(jié)點(diǎn)狀態(tài)異常，主節(jié)點(diǎn)將異常節(jié)點(diǎn)信息分發(fā)給從節(jié)點(diǎn)；

從節(jié)點(diǎn)接收并處理主節(jié)點(diǎn)發(fā)送的異常節(jié)點(diǎn)信息，根據(jù)異常節(jié)點(diǎn)信息移除集群中的異常節(jié)點(diǎn)。

第二方面，本發(fā)明實(shí)施例提供的一種基于clickhouse的數(shù)據(jù)庫集群監(jiān)控系統(tǒng)，包括：一個(gè)主節(jié)點(diǎn)服務(wù)器和多個(gè)從節(jié)點(diǎn)服務(wù)器，

主節(jié)點(diǎn)服務(wù)器監(jiān)控從節(jié)點(diǎn)服務(wù)器的健康情況，接收各個(gè)從節(jié)點(diǎn)服務(wù)器發(fā)送的健康檢查情況，根據(jù)從節(jié)點(diǎn)服務(wù)器發(fā)送的健康檢查情況判斷從節(jié)點(diǎn)服務(wù)器狀態(tài)是否正常，若從節(jié)點(diǎn)服務(wù)器狀態(tài)異常，主節(jié)點(diǎn)服務(wù)器將異常節(jié)點(diǎn)服務(wù)器信息分發(fā)給從節(jié)點(diǎn)服務(wù)器；

從節(jié)點(diǎn)服務(wù)器接收并處理主節(jié)點(diǎn)服務(wù)器發(fā)送的異常節(jié)點(diǎn)服務(wù)器信息，根據(jù)異常節(jié)點(diǎn)服務(wù)器信息移除集群中的異常節(jié)點(diǎn)服務(wù)器。

第三方面，本發(fā)明實(shí)施例提供的一種智能終端，包括處理器、輸入設(shè)備、輸出設(shè)備和存儲(chǔ)器，所述處理器、輸入設(shè)備、輸出設(shè)備和存儲(chǔ)器相互連接，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，所述處理器被配置用于調(diào)用所述程序指令，執(zhí)行上述實(shí)施例描述的方法。

第四方面，本發(fā)明實(shí)施例提供的一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，所述程序指令當(dāng)被處理器執(zhí)行時(shí)使所述處理器執(zhí)行上述實(shí)施例描述的方法。

本發(fā)明的有益效果：

本發(fā)明實(shí)施例提供的一種基于clickhouse的數(shù)據(jù)庫集群監(jiān)控方法、系統(tǒng)、終端及介質(zhì)，采用clickhouse數(shù)據(jù)庫實(shí)現(xiàn)了分布式高可用，不依賴zookeeper及其他分布式管理工具，避免了副本間數(shù)據(jù)交換，降低了服務(wù)器出現(xiàn)問題的概率。

附圖說明