[發(fā)明專利]一種基于MongoDB的慢SQL聚合展示方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910010505.9
• 申請日: 2019-01-07
• 公開（公告）號: CN111414382A
• 公開（公告）日: 2020-07-14
• 發(fā)明（設計）人: 劉運朋
• 申請（專利權）人: 北京智融網(wǎng)絡科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/248
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于MongoDB的慢SQL聚合展示方法和系統(tǒng)，方法包括：數(shù)據(jù)采集步驟，包括：每隔T1時間在所有MongoDB主機掃描最近T1時間的MongoDB日志，且過濾出慢SQL并存儲到第一存儲數(shù)據(jù)庫中；數(shù)據(jù)處理步驟，包括：每隔T2時間向第一存儲數(shù)據(jù)庫查詢，并獲取所有主機在T2時間內(nèi)的慢SQL，并導入第二存儲數(shù)據(jù)庫中；數(shù)據(jù)合并步驟，包括：將第二存儲數(shù)據(jù)中的慢SQL合并清理，并更新單個時間段慢SQL數(shù)量、以及本類慢SQL第一次出現(xiàn)的時間和最后一次出現(xiàn)的時間，對首次出現(xiàn)的慢SQL歸并記錄；其中，所述慢SQL是指超過50ms的增刪改查SQL語句，且T2的時間大于T1的時間。

技術領域

本發(fā)明屬于一種基于MongoDB的慢SQL聚合展示方法和系統(tǒng)。

背景技術

現(xiàn)有主流技術僅通過mtools工具對MongoDB中慢日志進行單項分析，在MongoDB數(shù)據(jù)庫出現(xiàn)性能問題時，通過工具分析日志中存在的慢SQL類別集數(shù)量，并不能整體的去觀察數(shù)據(jù)庫中每個副本集慢SQL的變化趨勢、某個時間段慢SQL數(shù)量、以及慢SQL第一次出現(xiàn)的時間和最后一次出現(xiàn)的時間。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術問題是提供一種基于MongoDB的慢SQL聚合展示方法和系統(tǒng)。

本發(fā)明解決上述技術問題所采取的技術方案如下：

一種基于MongoDB的慢SQL聚合展示方法，包括：

數(shù)據(jù)采集步驟，包括：每隔T1時間在所有MongoDB主機掃描最近T1時間的MongoDB日志，且過濾出慢SQL并存儲到第一存儲數(shù)據(jù)庫中；

數(shù)據(jù)處理步驟，包括：每隔T2時間向第一存儲數(shù)據(jù)庫查詢，并獲取所有主機在T2時間內(nèi)的慢SQL，并導入第二存儲數(shù)據(jù)庫中；

數(shù)據(jù)合并步驟，包括：將第二存儲數(shù)據(jù)中的慢SQL合并清理，并更新單個時間段慢SQL數(shù)量、以及本類慢SQL第一次出現(xiàn)的時間和最后一次出現(xiàn)的時間，對首次出現(xiàn)的慢SQL歸并記錄；

其中，所述慢SQL是指超過50ms的增刪改查SQL語句，且T2的時間大于T1的時間。

優(yōu)選的是，還包括：

數(shù)據(jù)清理步驟，即清理整個過程中出現(xiàn)的臨時文件和數(shù)據(jù)；

數(shù)據(jù)展示步驟，包括：

在網(wǎng)頁展示所有副本集慢SQL趨勢圖和詳細SQL；

和/或，根據(jù)時間、副本集名稱、表名和操作類型查詢符合條件的慢SQL，同時展示SQL詳細信息和趨勢圖，標記慢SQL是否為不需要處理的慢SQL及確認人。

優(yōu)選的是，所述數(shù)據(jù)收集步驟中，具體包括：

每5分鐘從所有的MongoDB的日志中獲取最近5分鐘的日志信息，排除連接信息、驗證信息、元數(shù)據(jù)接受信息；

所述數(shù)據(jù)處理步驟中，具體包括：

每30分鐘從第一存儲數(shù)據(jù)庫中查詢所有日志數(shù)據(jù)，并且按照主機名稱保存為臨時文件通過mtools工具獲取日志數(shù)據(jù)中慢SQL的各項信息，并存入數(shù)據(jù)庫的慢日志詳細表。

優(yōu)選的是，所述數(shù)據(jù)合并步驟中，具體包括：

把多個相同時間段內(nèi)副本集名稱、表名、操作、模式都相同的SQL合并為一類SQL并且更新慢SQL出現(xiàn)的次數(shù)、最小查詢時間、最大查詢時間、平均查詢時間、總時間；

其中，同一類慢SQL合并后，只需要保留其中一條信息，清理慢日志詳細表中多余的記錄。

優(yōu)選的是，所述數(shù)據(jù)合并步驟中，還包括：