[發明專利]一種基于MongoDB的慢SQL聚合展示方法和系統

在審

• 申請號: 201910010505.9
• 申請日: 2019-01-07
• 公開（公告）號: CN111414382A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 劉運朋
• 申請（專利權）人: 北京智融網絡科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/248
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于MongoDB的慢SQL聚合展示方法，其特征在于，包括：

數據采集步驟，包括：每隔T1時間在所有MongoDB主機掃描最近T1時間的MongoDB日志，且過濾出慢SQL并存儲到第一存儲數據庫中；

數據處理步驟，包括：每隔T2時間向第一存儲數據庫查詢，并獲取所有主機在T2時間內的慢SQL，并導入第二存儲數據庫中；

數據合并步驟，包括：將第二存儲數據中的慢SQL合并清理，并更新單個時間段慢SQL數量、以及本類慢SQL第一次出現的時間和最后一次出現的時間，對首次出現的慢SQL歸并記錄；

其中，所述慢SQL是指超過50ms的增刪改查SQL語句，且T2的時間大于T1的時間。

2.根據權利要求1所述的基于MongoDB的慢SQL聚合展示方法，其特征在于，還包括：

數據清理步驟，即清理整個過程中出現的臨時文件和數據；

數據展示步驟，包括：

在網頁展示所有副本集慢SQL趨勢圖和詳細SQL；

和/或，根據時間、副本集名稱、表名和操作類型查詢符合條件的慢SQL，同時展示SQL詳細信息和趨勢圖，標記慢SQL是否為不需要處理的慢SQL及確認人。

3.根據權利要求1所述的基于MongoDB的慢SQL聚合展示方法，其特征在于，所述數據收集步驟中，具體包括：

每5分鐘從所有的MongoDB的日志中獲取最近5分鐘的日志信息，排除連接信息、驗證信息、元數據接受信息；

所述數據處理步驟中，具體包括：

每30分鐘從第一存儲數據庫中查詢所有日志數據，并且按照主機名稱保存為臨時文件通過mtools工具獲取日志數據中慢SQL的各項信息，并存入數據庫的慢日志詳細表。

4.根據權利要求1所述的基于MongoDB的慢SQL聚合展示方法，其特征在于，所述數據合并步驟中，具體包括：

把多個相同時間段內副本集名稱、表名、操作、模式都相同的SQL合并為一類SQL并且更新慢SQL出現的次數、最小查詢時間、最大查詢時間、平均查詢時間、總時間；

其中，同一類慢SQL合并后，只需要保留其中一條信息，清理慢日志詳細表中多余的記錄。

5.根據權利要求4所述的基于MongoDB的慢SQL聚合展示方法，其特征在于，所述數據合并步驟中，還包括：

如果慢SQL第一次出現，則在慢日志表中插入數據，已經存在的，則更新數據中第一次出現的時間和最后一次出現的時間。

6.一種基于MongoDB的慢SQL聚合展示系統，其特征在于，包括：

數據采集單元，用于每隔T1時間在所有MongoDB主機掃描最近T1時間的MongoDB日志，且過濾出慢SQL并存儲到第一存儲數據庫中；

數據處理單元，用于每隔T2時間向第一存儲數據庫查詢，并獲取所有主機在T2時間內的慢SQL，并導入第二存儲數據庫中；

數據合并單元，用于將第二存儲數據中的慢SQL合并清理，并更新單個時間段慢SQL數量、以及本類慢SQL第一次出現的時間和最后一次出現的時間，對首次出現的慢SQL歸并記錄；

其中，所述慢SQL是指超過50ms的增刪改查SQL語句，且T2的時間大于T1的時間。

7.根據權利要求6所述的基于MongoDB的慢SQL聚合展示系統，其特征在于，還包括：

數據清理單元，用于清理整個過程中出現的臨時文件和數據；

數據展示單元，用于：

在網頁展示所有副本集慢SQL趨勢圖和詳細SQL；

和/或，根據時間、副本集名稱、表名和操作類型查詢符合條件的慢SQL，同時展示SQL詳細信息和趨勢圖，標記慢SQL是否為不需要處理的慢SQL及確認人。