[發(fā)明專利]數(shù)據(jù)監(jiān)測(cè)方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010086207.0
• 申請(qǐng)日: 2020-02-11
• 公開(kāi)（公告）號(hào): CN111324639A
• 公開(kāi)（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 萬(wàn)璐;張韜;呂艷;薛清晨
• 申請(qǐng)（專利權(quán)）人: 京東數(shù)字科技控股有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/25
• 代理公司: 中國(guó)國(guó)際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 姜雍;劉劍波

本公開(kāi)提供了一種數(shù)據(jù)監(jiān)測(cè)方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，涉及計(jì)算機(jī)技術(shù)領(lǐng)域。其中的數(shù)據(jù)監(jiān)測(cè)方法包括：對(duì)第一時(shí)間序列數(shù)據(jù)進(jìn)行基于局部加權(quán)回歸散點(diǎn)平滑法的季節(jié)趨勢(shì)分解STL處理，獲得第一時(shí)間序列數(shù)據(jù)的季節(jié)分量、趨勢(shì)分量以及殘差分量；根據(jù)殘差分量，判斷第一時(shí)間序列數(shù)據(jù)中是否存在異常數(shù)據(jù)；在第一時(shí)間序列數(shù)據(jù)中不存在異常數(shù)據(jù)的情況下，向數(shù)據(jù)顯示設(shè)備推送第一時(shí)間系列數(shù)據(jù)；在第一時(shí)間序列數(shù)據(jù)中存在異常數(shù)據(jù)的情況下，停止向數(shù)據(jù)顯示設(shè)備推送第一時(shí)間系列數(shù)據(jù)，并觸發(fā)異常數(shù)據(jù)告警。本公開(kāi)能夠準(zhǔn)確檢測(cè)到異常業(yè)務(wù)數(shù)據(jù)，并熔斷基于異常業(yè)務(wù)數(shù)據(jù)的下游作業(yè)同時(shí)觸發(fā)告警，提升了基于業(yè)務(wù)數(shù)據(jù)進(jìn)行作業(yè)的魯棒性。

技術(shù)領(lǐng)域

本公開(kāi)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)監(jiān)測(cè)方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

互聯(lián)網(wǎng)公司搭建數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)，對(duì)來(lái)自各個(gè)數(shù)據(jù)源中的數(shù)據(jù)變化進(jìn)行監(jiān)控。在數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)中，用戶可以通過(guò)建立質(zhì)量監(jiān)控作業(yè)的方式，自定義采集項(xiàng)配置、算法項(xiàng)配置、預(yù)警條件設(shè)置(例如預(yù)警枚舉值)，對(duì)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市中的數(shù)據(jù)表進(jìn)行每日定時(shí)的數(shù)據(jù)采集和數(shù)據(jù)計(jì)算，并與歷史數(shù)據(jù)或維表進(jìn)行比對(duì)驗(yàn)證。在比對(duì)結(jié)果顯示存在異常數(shù)據(jù)的情況下，對(duì)觸發(fā)預(yù)警條件的異常數(shù)據(jù)以短信、郵件、應(yīng)用消息等方式及時(shí)通知給用戶，從而保障基于業(yè)務(wù)數(shù)據(jù)進(jìn)行作業(yè)。

發(fā)明內(nèi)容

本公開(kāi)解決的一個(gè)技術(shù)問(wèn)題是，如何提升基于業(yè)務(wù)數(shù)據(jù)進(jìn)行作業(yè)的魯棒性。

根據(jù)本公開(kāi)實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)監(jiān)測(cè)方法，包括：對(duì)第一時(shí)間序列數(shù)據(jù)進(jìn)行基于局部加權(quán)回歸散點(diǎn)平滑法的季節(jié)趨勢(shì)分解STL處理，獲得第一時(shí)間序列數(shù)據(jù)的季節(jié)分量、趨勢(shì)分量以及殘差分量；

根據(jù)殘差分量，判斷第一時(shí)間序列數(shù)據(jù)中是否存在異常數(shù)據(jù)；在第一時(shí)間序列數(shù)據(jù)中不存在異常數(shù)據(jù)的情況下，向數(shù)據(jù)顯示設(shè)備推送第一時(shí)間系列數(shù)據(jù)；在第一時(shí)間序列數(shù)據(jù)中存在異常數(shù)據(jù)的情況下，停止向數(shù)據(jù)顯示設(shè)備推送第一時(shí)間系列數(shù)據(jù)，并觸發(fā)異常數(shù)據(jù)告警。

在一些實(shí)施例中，根據(jù)殘差分量，判斷第一時(shí)間序列數(shù)據(jù)中是否存在異常數(shù)據(jù)包括：計(jì)算殘差分量的均值及標(biāo)準(zhǔn)差；計(jì)算殘差分量中的目標(biāo)數(shù)值與均值之差的絕對(duì)值，并判斷絕對(duì)值是否大于標(biāo)準(zhǔn)差的三倍；在絕對(duì)值大于標(biāo)準(zhǔn)差的三倍的情況下，目標(biāo)數(shù)值所對(duì)應(yīng)第一時(shí)間序列數(shù)據(jù)中的數(shù)值為異常數(shù)據(jù)；在絕對(duì)值不大于標(biāo)準(zhǔn)差的三倍的情況下，目標(biāo)數(shù)值所對(duì)應(yīng)第一時(shí)間序列數(shù)據(jù)中的數(shù)值不為異常數(shù)據(jù)。

在一些實(shí)施例中，還包括：在第一時(shí)間序列數(shù)據(jù)中不存在異常數(shù)據(jù)的情況下，確定第二時(shí)間序列數(shù)據(jù)中與第一時(shí)間序列數(shù)據(jù)相關(guān)聯(lián)的關(guān)聯(lián)分量；將第二時(shí)間序列數(shù)據(jù)分解為關(guān)聯(lián)分量和剩余分量；根據(jù)剩余分量，判斷第二時(shí)間序列數(shù)據(jù)中是否存在異常數(shù)據(jù)；在第二時(shí)間序列數(shù)據(jù)中不存在異常數(shù)據(jù)的情況下，向數(shù)據(jù)顯示設(shè)備推送第二時(shí)間系列數(shù)據(jù)；在第二時(shí)間序列數(shù)據(jù)中存在異常數(shù)據(jù)的情況下，停止向數(shù)據(jù)顯示設(shè)備推送第二時(shí)間系列數(shù)據(jù)，并觸發(fā)異常數(shù)據(jù)告警。

在一些實(shí)施例中，對(duì)第一時(shí)間序列數(shù)據(jù)進(jìn)行基于局部加權(quán)回歸散點(diǎn)平滑法的季節(jié)趨勢(shì)分解STL處理包括：根據(jù)第一時(shí)間序列數(shù)據(jù)的波動(dòng)幅度，選取STL處理的運(yùn)算模型。

在一些實(shí)施例中，根據(jù)第一時(shí)間序列數(shù)據(jù)的波動(dòng)幅度，選取STL分解的運(yùn)算模型包括：在第一時(shí)間序列數(shù)據(jù)的波動(dòng)幅度隨時(shí)間的變化率大于預(yù)設(shè)值的情況下，在STL處理中采用乘法模型；在第一時(shí)間序列數(shù)據(jù)的波動(dòng)幅度隨時(shí)間的變化率不大于預(yù)設(shè)值的情況下，在STL處理中采用加法模型。

在一些實(shí)施例中，對(duì)第一時(shí)間序列數(shù)據(jù)進(jìn)行基于局部加權(quán)回歸散點(diǎn)平滑法的季節(jié)趨勢(shì)分解STL處理還包括：根據(jù)第一時(shí)間序列數(shù)據(jù)的業(yè)務(wù)屬性，確定STL處理的模型參數(shù)。