[發(fā)明專利]用于線上壓測數(shù)據(jù)漏庫實時檢測的系統(tǒng)、方法及設(shè)備

在審

• 申請?zhí)枺?/td>: 202110244829.6
• 申請日: 2021-03-05
• 公開（公告）號: CN113157555A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計）人: 曾一迅
• 申請（專利權(quán)）人: 上海中通吉網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F9/54
• 代理公司: 北京細(xì)軟智谷知識產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 葛鐘

本發(fā)明涉及一種用于線上壓測數(shù)據(jù)漏庫實時檢測的系統(tǒng)、方法及設(shè)備，屬于通信技術(shù)領(lǐng)域，binlog監(jiān)控系統(tǒng)對待監(jiān)控數(shù)據(jù)庫表進行監(jiān)控內(nèi)容配置，將監(jiān)聽數(shù)據(jù)發(fā)送至消息中間件；漏庫檢測執(zhí)行系統(tǒng)，實時接收binlog監(jiān)控系統(tǒng)的監(jiān)聽數(shù)據(jù)，并對比監(jiān)聽數(shù)據(jù)，判斷待監(jiān)控數(shù)據(jù)庫表中是否發(fā)生漏庫事件，若待監(jiān)控數(shù)據(jù)庫表中發(fā)生漏庫事件，觸發(fā)報警模塊，進行報警，停止壓測。實時的監(jiān)控binlog，當(dāng)數(shù)據(jù)庫表有數(shù)據(jù)變化操作時，被監(jiān)控，對這些數(shù)據(jù)進行規(guī)則比對，從而發(fā)現(xiàn)是否有測試數(shù)據(jù)被錯誤的寫入了正式庫表中，整個過程數(shù)據(jù)都是在binlog監(jiān)控系統(tǒng)、消息中間件和漏庫檢測執(zhí)行系統(tǒng)間實時流轉(zhuǎn)與對比的，從而使線上壓測過程中，漏庫檢查自動化實時化，漏庫處理過程及時化與自動化。

技術(shù)領(lǐng)域

本發(fā)明屬于通信技術(shù)領(lǐng)域，具體涉及一種用于線上壓測數(shù)據(jù)漏庫實時檢測的方法、裝置及設(shè)備。

背景技術(shù)

現(xiàn)階段，在生產(chǎn)環(huán)境(線上環(huán)境)進行性能壓測，特別是進行全鏈路線上壓測試時，通常會大量使用影子數(shù)據(jù)庫表，影子數(shù)據(jù)庫表用于與正式數(shù)據(jù)庫表進行測試數(shù)據(jù)的隔離。但是，因為各種技術(shù)原因，大量的壓測數(shù)據(jù)可能會導(dǎo)致部份或者全部壓測數(shù)據(jù)被錯誤的寫入了正式數(shù)據(jù)庫表，從而污染了真實環(huán)境的數(shù)據(jù)，導(dǎo)致各種生產(chǎn)故障。因此在進行線上環(huán)境壓測時，有必要實時的檢測是否有測試數(shù)據(jù)被錯誤的寫入了正式數(shù)據(jù)庫表，以便及時的停止壓測行為，并快速對進入正式庫的錯誤數(shù)據(jù)進行清洗糾正，將損失降到最低。

為了解決此技術(shù)問題，現(xiàn)有技術(shù)中通常體采用如下技術(shù)手段：提前準(zhǔn)備好對正式庫表查詢漏庫數(shù)據(jù)的SQL(可以對數(shù)據(jù)庫內(nèi)容進行查詢的標(biāo)準(zhǔn)語言)；開始進行線上壓測試；在壓測過程中，不斷的反復(fù)的執(zhí)行這一批SQL，并對結(jié)果進行對比；如果對比的SQL查詢結(jié)果中包含了測試數(shù)據(jù)，則停止壓測試。

但是，這種技術(shù)手段存在如下技術(shù)問題：實時性不足；查詢是在正式數(shù)據(jù)庫表中執(zhí)行，會占用正式庫表資源，且會大量使用性能低下的like語句，影響正式庫表性能；分庫分表(線上環(huán)境為了提供更好的性能，會將一張數(shù)據(jù)表拆分成N張數(shù)據(jù)表，表結(jié)構(gòu)完全相同，表名前綴也相同，只是在表名后綴上會使用數(shù)字進行編號擴展區(qū)分)很多的情況下，工作量太大，有時甚至是不可能完成的任務(wù)。

發(fā)明內(nèi)容

本發(fā)明提供了一種用于線上壓測數(shù)據(jù)漏庫實時檢測的系統(tǒng)、方法及設(shè)備，以實現(xiàn)進行線上壓測時，自動的檢查是否漏庫，保證線上壓測漏庫檢查的實時性，準(zhǔn)確性與處理漏庫情況的及時性；在保證實時性的情況下，對正式庫表無性能影響。

本發(fā)明提供的技術(shù)方案如下：

一方面，一種用于線上壓測數(shù)據(jù)漏庫實時檢測的系統(tǒng)，包括：binlog監(jiān)控系統(tǒng)、消息中間件和漏庫檢測執(zhí)行系統(tǒng)；

所述binlog監(jiān)控系統(tǒng)，用于對待監(jiān)控數(shù)據(jù)庫表進行監(jiān)控內(nèi)容配置，獲取對應(yīng)的監(jiān)聽數(shù)據(jù)，將所述監(jiān)聽數(shù)據(jù)發(fā)送至消息中間件，以及，配置所述監(jiān)聽數(shù)據(jù)發(fā)送到消息中間件的消息隊列名稱；

所述漏庫檢測執(zhí)行系統(tǒng)，用于通過所述消息中間件，實時接收所述binlog監(jiān)控系統(tǒng)的監(jiān)聽數(shù)據(jù)，并對比所述監(jiān)聽數(shù)據(jù)，判斷所述待監(jiān)控數(shù)據(jù)庫表中是否發(fā)生漏庫事件，若所述待監(jiān)控數(shù)據(jù)庫表中發(fā)生漏庫事件，觸發(fā)報警模塊，進行報警，停止壓測。

可選的，所述漏庫檢測執(zhí)行系統(tǒng)，還用于：配置數(shù)據(jù)對比規(guī)則；以及，根據(jù)所述數(shù)據(jù)對比規(guī)則，判斷所述待監(jiān)控數(shù)據(jù)庫表中是否發(fā)生漏庫事件，若對比的所述監(jiān)聽數(shù)據(jù)符合所述數(shù)據(jù)對比規(guī)則，則判定所述待監(jiān)控數(shù)據(jù)庫表中發(fā)生漏庫事件。

可選的，所述漏庫檢測執(zhí)行系統(tǒng)，還用于：上傳數(shù)據(jù)清洗腳本；以及，在所述待監(jiān)控數(shù)據(jù)庫表中發(fā)生漏庫事件時，調(diào)用所述數(shù)據(jù)清洗腳本，對所述待監(jiān)控數(shù)據(jù)庫表內(nèi)的數(shù)據(jù)進行清洗。

可選的，所述所述binlog監(jiān)控系統(tǒng)，包括：binlog監(jiān)聽配置模塊、binlog日志監(jiān)聽模塊、binlog監(jiān)聽實時數(shù)據(jù)消息轉(zhuǎn)發(fā)模塊；

所述binlog監(jiān)聽配置模塊，用于對待監(jiān)控數(shù)據(jù)庫表進行監(jiān)控內(nèi)容配置，以及，對所述待監(jiān)控數(shù)據(jù)庫表的變化進行實時監(jiān)控；