[發明專利]一種數據倉庫的監控方法和系統

在審

• 申請號: 201711230833.7
• 申請日: 2017-11-29
• 公開（公告）號: CN108090138A
• 公開（公告）日: 2018-05-29
• 發明（設計）人: 王勇
• 申請（專利權）人: 鏈家網（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種數據倉庫的監控方法，其特征在于，包括：

S1，獲取數據倉庫中的任一數據表，根據自回歸積分滑動平均模型預測所述數據表在預測日的固定時間段內的數據增量，所述數據增量為數據表中數據的增加條數；

S2，計算所述預測日在固定時間段內的實際數據增量，將所述實際數據增量與預測的所述數據增量進行比對，監控所述數據表是否進行預警。

2.根據權利要求1所述的數據倉庫的監控方法，其特征在于，步驟S1前包括：

根據所述數據倉庫中的數據庫名與數據表名，查找所述數據倉庫中的任一數據表。

3.根據權利要求1所述的數據倉庫的監控方法，所述自回歸積分滑動平均模型包括自回歸模型、滑動平均模型和自回歸滑動平均模型，其特征在于，步驟S1中所述自回歸積分滑動平均模型通過以下步驟建立：

將所述預測日前連續數周內所述固定時間段的數據增量構成時間序列，將所述時間序列處理為平穩時間序列；

根據所述平穩時間序列的偏自相關函數和自相關函數，建立與所述平穩時間序列對應的自回歸積分滑動平均模型。

4.根據權利要求3所述的數據倉庫的監控方法，其特征在于，所述將所述時間序列處理為平穩時間序列的具體步驟包括：

根據所述時間序列為非平穩時間序列，對所述時間序列中的每個數據增量進行一次差分運算，得到新的時間序列；

判斷所述新的時間序列是否為平穩時間序列，若不是，則返回上一步驟，直至新的時間序列為平穩時間序列。

5.根據權利要求3所述的數據倉庫的監控方法，其特征在于，所述根據所述平穩時間序列的偏自相關函數和自相關函數，建立與所述平穩時間序列對應的自回歸積分滑動平均模型具體包括：

若所述偏自相關函數具有截尾性且自相關函數具有拖尾性，建立與所述平穩時間序列對應的自回歸模型；

若偏自相關函數具有拖尾性且自相關函數具有截尾性，建立與所述平穩時間序列對應的滑動平均模型；

若偏自相關函數和自相關函數均具有拖尾性，建立與所述平穩時間序列對應的自回歸滑動平均模型；

其中，所述拖尾性的判斷方法為函數按指數衰減或成正弦波形式，所述截尾性的判斷方法為函數值為零。

6.根據權利要求1所述的數據倉庫的監控方法，其特征在于，步驟S1中所述固定時間段通過以下步驟獲取：

在一周中選取多個特定時間段，采集所述數據表在連續數周內每個所述特定時間段內的數據增量，計算每個所述特定時間段內的數據增量的方差；

比較全部所述特定時間段內數據增量的方差，將方差最小的特定時間段作為所述固定時間段。

7.根據權利要求1所述的數據倉庫的監控方法，其特征在于，步驟S2中所述實際數據增量通過以下步驟獲取：

記錄所述數據倉庫中每一數據表中每條數據的寫入時間；通過所述寫入時間計算所述固定時間段內數據表的數據增量。

8.根據權利要求7所述的數據倉庫的監控方法，其特征在于，所述計算每一所述預測日在固定時間段內的實際數據增量具體包括：

通過所述寫入時間，采集所述固定時間段開始時所述數據表的初始數據總量，以及所述固定時間段結束時所述數據表的結束數據總量；

將所述結束數據總量減去所述初始數據總量，獲取所述固定時間段內所述數據表的數據增量。

9.根據權利要求1所述的數據倉庫的監控方法，其特征在于，步驟S2中所述將所述實際數據增量與預測的所述數據增量進行比對，監控所述數據表是否進行預警的具體步驟包括：

將所述實際數據增量與所述預測數據增量的比值減1作為偏差值，若所述偏差值的絕對值大于10％，對所述數據表進行預警。

10.一種數據倉庫的監控系統，其特征在于，包括：

增量預測模塊，獲取數據倉庫中的任一數據表，根據自回歸積分滑動平均模型預測所述數據表在預測日的固定時間段內的數據增量，所述數據增量為數據表中數據的增加條數；

增量比對模塊，用于計算所述預測日在固定時間段內的實際數據增量，將所述實際數據增量與預測的所述數據增量進行比對，監控所述數據表是否進行預警。