[發(fā)明專利]一種數(shù)據(jù)倉庫的監(jiān)控方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711230833.7
• 申請日: 2017-11-29
• 公開（公告）號: CN108090138A
• 公開（公告）日: 2018-05-29
• 發(fā)明（設計）人: 王勇
• 申請（專利權）人: 鏈家網(wǎng)（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發(fā)明提供一種數(shù)據(jù)倉庫的監(jiān)控方法，包括：S1，獲取數(shù)據(jù)倉庫中的任一數(shù)據(jù)表，根據(jù)自回歸積分滑動平均模型預測所述數(shù)據(jù)表在預測日的固定時間段內(nèi)的數(shù)據(jù)增量，所述數(shù)據(jù)增量為數(shù)據(jù)表中數(shù)據(jù)的增加條數(shù)；S2，計算所述預測日在固定時間段內(nèi)的實際數(shù)據(jù)增量，將所述實際數(shù)據(jù)增量與預測的所述數(shù)據(jù)增量進行比對，監(jiān)控所述數(shù)據(jù)表是否進行預警。本發(fā)明通過將從數(shù)據(jù)倉庫中采集的數(shù)據(jù)的實際增量與自回歸積分滑動平均模型預測的增量進行比對，在實際增量與預測增量偏差過大時進行預警，且實現(xiàn)了對數(shù)據(jù)倉庫中的每個數(shù)據(jù)表的數(shù)據(jù)量都進行全方位的監(jiān)控，可以有效保障數(shù)據(jù)倉庫的穩(wěn)定性。

技術領域

本發(fā)明涉及數(shù)據(jù)庫處理技術領域，更具體地，涉及一種數(shù)據(jù)倉庫的監(jiān)控方法和系統(tǒng)。

背景技術

一個數(shù)據(jù)倉庫對應著多個業(yè)務數(shù)據(jù)源。隨著業(yè)務不斷深化，需要分析的數(shù)據(jù)也不斷增多，相應的，數(shù)據(jù)倉庫任務繁多。每天有大量的新增數(shù)據(jù)存儲在數(shù)據(jù)倉庫中，如果每日任務處理過程中出現(xiàn)異常，會影響數(shù)據(jù)的質(zhì)量，并且可能對接下來往后時間內(nèi)的數(shù)據(jù)產(chǎn)生影響。因此及時發(fā)現(xiàn)數(shù)據(jù)在處理過程中的異常，進行處理。對數(shù)據(jù)倉庫的是非常重要的。

現(xiàn)有技術中提供了一種數(shù)據(jù)倉庫數(shù)據(jù)監(jiān)控的方法，通過執(zhí)行定時監(jiān)控任務及相關的一系列配置可實現(xiàn)對數(shù)據(jù)倉庫每日更新的表的數(shù)據(jù)情況進行監(jiān)控，還可以實現(xiàn)因業(yè)務數(shù)據(jù)源改變而將要產(chǎn)出異常的預警，能夠及時發(fā)現(xiàn)在程序運行中出現(xiàn)的各種問題。

現(xiàn)有技術中還提供了一種數(shù)據(jù)庫監(jiān)控方法，根據(jù)各數(shù)據(jù)庫的信息，獲取與各數(shù)據(jù)庫的信息對應的監(jiān)控配置文件；根據(jù)獲取的與各數(shù)據(jù)庫的信息對應的監(jiān)控配置文件，利用預先編寫好的與各數(shù)據(jù)庫的信息對應的監(jiān)控程序，對各自對應的數(shù)據(jù)庫進行監(jiān)控。

但是，現(xiàn)有技術并未對業(yè)務常規(guī)數(shù)據(jù)量改變而可能產(chǎn)出異常的預警，以及對數(shù)據(jù)倉庫的每個數(shù)據(jù)表的數(shù)據(jù)量進行全方位的監(jiān)控，無法有效保障數(shù)據(jù)倉庫的穩(wěn)定性。

發(fā)明內(nèi)容

本發(fā)明提供一種克服上述問題或者至少部分地解決上述問題的數(shù)據(jù)倉庫的監(jiān)控方法和系統(tǒng)。

一方面，本發(fā)明提供一種數(shù)據(jù)倉庫的監(jiān)控方法，包括：

S1，獲取數(shù)據(jù)倉庫中的任一數(shù)據(jù)表，根據(jù)自回歸積分滑動平均模型預測所述數(shù)據(jù)表在預測日的固定時間段內(nèi)的數(shù)據(jù)增量，所述數(shù)據(jù)增量為數(shù)據(jù)表中數(shù)據(jù)的增加條數(shù)；

S2，計算所述預測日在固定時間段內(nèi)的實際數(shù)據(jù)增量，將所述實際數(shù)據(jù)增量與預測的所述數(shù)據(jù)增量進行比對，監(jiān)控所述數(shù)據(jù)表是否進行預警。

優(yōu)選地，步驟S1前包括：

根據(jù)所述數(shù)據(jù)倉庫中的數(shù)據(jù)庫名與數(shù)據(jù)表名，查找所述數(shù)據(jù)倉庫中的任一數(shù)據(jù)表。

優(yōu)選地，所述自回歸積分滑動平均模型包括自回歸模型、滑動平均模型和自回歸滑動平均模型，步驟S1中所述自回歸積分滑動平均模型通過以下步驟建立：

將所述預測日前連續(xù)數(shù)周內(nèi)所述固定時間段的數(shù)據(jù)增量構成時間序列，將所述時間序列處理為平穩(wěn)時間序列；

根據(jù)所述平穩(wěn)時間序列的偏自相關函數(shù)和自相關函數(shù)，建立與所述平穩(wěn)時間序列對應的自回歸積分滑動平均模型。

優(yōu)選地，所述將所述時間序列處理為平穩(wěn)時間序列的具體步驟包括：

根據(jù)所述時間序列為非平穩(wěn)時間序列，對所述時間序列中的每個數(shù)據(jù)增量進行一次差分運算，得到新的時間序列；

判斷所述新的時間序列是否為平穩(wěn)時間序列，若不是，則返回上一步驟，直至新的時間序列為平穩(wěn)時間序列。

優(yōu)選地，所述根據(jù)所述平穩(wěn)時間序列的偏自相關函數(shù)和自相關函數(shù)，建立與所述平穩(wěn)時間序列對應的自回歸積分滑動平均模型具體包括：

若所述偏自相關函數(shù)具有截尾性且自相關函數(shù)具有拖尾性，建立與所述平穩(wěn)時間序列對應的自回歸模型；