[發(fā)明專利]一種基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法

在審

• 申請?zhí)枺?/td>: 202210381373.2
• 申請日: 2022-04-12
• 公開（公告）號: CN114661558A
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計(jì)）人: 于偉;靳雯;趙洲洋;石江楓;王全修
• 申請（專利權(quán)）人: 北京睿企信息科技有限公司;日照睿安信息科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/18
• 代理公司: 北京紐樂康知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11210
• 代理人: 張朝元

本發(fā)明公開了一種基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法，包括首先偽裝應(yīng)用模擬數(shù)據(jù)庫的交互協(xié)議；偽裝的應(yīng)用向主數(shù)據(jù)庫發(fā)送dump協(xié)議，通知主數(shù)據(jù)庫推送log日志；主數(shù)據(jù)庫接收到dump協(xié)議后，推送log日志給偽裝的應(yīng)用；從節(jié)點(diǎn)解析主數(shù)據(jù)庫推送的log日志，將解析結(jié)果發(fā)至消息隊(duì)列中保存；消費(fèi)消息隊(duì)列中的解析結(jié)果，并生成數(shù)據(jù)庫表的操作記錄；將操作記錄存儲(chǔ)至監(jiān)控?cái)?shù)據(jù)庫，并根據(jù)DDL和DML進(jìn)行分類，記錄變更信息；最后監(jiān)控和追溯所述監(jiān)控?cái)?shù)據(jù)庫表中的變更記錄。本發(fā)明通過根據(jù)模擬數(shù)據(jù)庫之間的交互協(xié)議，和獲取主數(shù)據(jù)庫的日志數(shù)據(jù)并進(jìn)行解析、記錄，可以快速找到有問題的操作和操作記錄影響的范圍，減少人工遍歷日志產(chǎn)生的工作量。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫監(jiān)控技術(shù)領(lǐng)域，具體來說，涉及一種基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法。

背景技術(shù)

離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控是對數(shù)據(jù)庫表變更記錄的一種有效的監(jiān)控方案，數(shù)據(jù)庫維護(hù)經(jīng)常忽略表的相關(guān)監(jiān)控，表數(shù)據(jù)的丟失和誤操作很難直接定位到相關(guān)的操作記錄，需要人工花費(fèi)大量的時(shí)間去檢索數(shù)據(jù)庫日志，數(shù)據(jù)庫日志占用空間也遠(yuǎn)超于一條數(shù)據(jù)記錄的大小，數(shù)據(jù)量越大的數(shù)據(jù)庫日志對應(yīng)也會(huì)增加，更大的增加了遍歷數(shù)據(jù)庫日志的工作量。針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

針對相關(guān)技術(shù)中的上述技術(shù)問題，本發(fā)明提出一種基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法，能夠克服現(xiàn)有技術(shù)方法的上述不足。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法,包括以下步驟：

S1:首先偽裝應(yīng)用模擬數(shù)據(jù)庫的交互協(xié)議；

S2:偽裝的應(yīng)用向主數(shù)據(jù)庫發(fā)送dump協(xié)議，通知主數(shù)據(jù)庫推送log日志；

S3:主數(shù)據(jù)庫接收到dump協(xié)議后，推送log日志給偽裝的應(yīng)用；

S4:從節(jié)點(diǎn)解析主數(shù)據(jù)庫推送的log日志，將解析結(jié)果發(fā)至消息隊(duì)列中保存；

S5:消費(fèi)消息隊(duì)列中的解析結(jié)果，并生成數(shù)據(jù)庫表的操作記錄；

S6:將操作記錄存儲(chǔ)至監(jiān)控?cái)?shù)據(jù)庫，并根據(jù)DDL和DML進(jìn)行分類，記錄變更信息；

S7:最后監(jiān)控和追溯所述監(jiān)控?cái)?shù)據(jù)庫表中的變更記錄。

2 根據(jù)權(quán)利要求1所述的基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法，其特征在于，所述偽裝應(yīng)用需偽裝成數(shù)據(jù)庫的從節(jié)點(diǎn)來進(jìn)行交互。

3 根據(jù)權(quán)利要求1所述的基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法，其特征在于，所述主數(shù)據(jù)庫推送的log日志為主數(shù)據(jù)庫中表發(fā)生的變更日志。

4. 根據(jù)權(quán)利要求1所述的基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法，其特征在于，操作記錄根據(jù)DDL和DML進(jìn)行分類，區(qū)分DDL和DML兩個(gè)類和操作事項(xiàng)。

5. 根據(jù)權(quán)利要求1所述的基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法，其特征在于，監(jiān)控和分析監(jiān)控?cái)?shù)據(jù)庫包括了解數(shù)據(jù)庫表的操作記錄和執(zhí)行情況；若監(jiān)控時(shí)，出現(xiàn)DML類型為update的記錄時(shí)，則發(fā)起告警。

本發(fā)明的有益效果：通過根據(jù)模擬數(shù)據(jù)庫之間的交互協(xié)議，偽裝成數(shù)據(jù)庫的從節(jié)點(diǎn)，然后獲取主數(shù)據(jù)庫的日志數(shù)據(jù)，進(jìn)行解析記錄，可以對數(shù)據(jù)庫表的歷史操作記錄進(jìn)行詳細(xì)的查看，快速找到有問題的操作和操作記錄影響的范圍，減少人工遍歷日志的工作量。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是根據(jù)本發(fā)明實(shí)施例所述的基于離線分析數(shù)據(jù)庫Log的通用數(shù)據(jù)庫表監(jiān)控方法的流程框圖。