[發(fā)明專利]一種數(shù)據(jù)延時(shí)產(chǎn)出監(jiān)控方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110475496.8
• 申請(qǐng)日: 2021-04-29
• 公開（公告）號(hào): CN113297030B
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 薛凱;王凱;姜威
• 申請(qǐng)（專利權(quán)）人: 上海淇玥信息技術(shù)有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F9/50;G06F16/13
• 代理公司: 北京清誠知識(shí)產(chǎn)權(quán)代理有限公司 11691
• 代理人: 喬?hào)|峰

1.一種數(shù)據(jù)延時(shí)產(chǎn)出監(jiān)控方法，其特征在于，所述方法包括：

間隔預(yù)定時(shí)間從監(jiān)控配置表中查詢當(dāng)前預(yù)定時(shí)間內(nèi)已產(chǎn)出監(jiān)控配置信息；所述監(jiān)控配置信息包括：監(jiān)控項(xiàng)和對(duì)應(yīng)的數(shù)據(jù)產(chǎn)出周期，以及每個(gè)監(jiān)控項(xiàng)對(duì)應(yīng)的監(jiān)控重要等級(jí)或者每個(gè)監(jiān)控配置表對(duì)應(yīng)的監(jiān)控重要等級(jí)；所述預(yù)定時(shí)間根據(jù)監(jiān)控精度配置；

根據(jù)數(shù)據(jù)延時(shí)產(chǎn)出監(jiān)控的目標(biāo)從所述監(jiān)控配置信息中提取所述預(yù)定時(shí)間內(nèi)的目標(biāo)監(jiān)控配置信息，具體包括：根據(jù)監(jiān)控配置信息中數(shù)據(jù)產(chǎn)出周期確定各個(gè)監(jiān)控項(xiàng)的預(yù)期產(chǎn)出時(shí)間，以及，提取預(yù)期產(chǎn)出時(shí)間在所述預(yù)定時(shí)間內(nèi)的監(jiān)控項(xiàng)和對(duì)應(yīng)的數(shù)據(jù)產(chǎn)出周期作為目標(biāo)監(jiān)控配置信息；

根據(jù)所述目標(biāo)監(jiān)控配置信息的數(shù)據(jù)產(chǎn)出周期匹配數(shù)據(jù)產(chǎn)出文件的分區(qū)路徑，具體包括：根據(jù)所述目標(biāo)監(jiān)控配置信息的數(shù)據(jù)產(chǎn)出周期從預(yù)設(shè)分區(qū)規(guī)則集中匹配目標(biāo)預(yù)設(shè)分區(qū)規(guī)則，其中，分區(qū)規(guī)則集由預(yù)先配置的多個(gè)分區(qū)規(guī)則組成，根據(jù)數(shù)據(jù)產(chǎn)出周期的不同配置不同的分區(qū)規(guī)則；并且，根據(jù)目標(biāo)預(yù)設(shè)分區(qū)規(guī)則及文件產(chǎn)出路徑包括的_SUCCESS路徑解析替換出本次監(jiān)控要檢測(cè)的包含數(shù)據(jù)產(chǎn)出文件的分區(qū)路徑；分區(qū)路徑指存儲(chǔ)數(shù)據(jù)產(chǎn)出文件的_SUCCESS文件的真實(shí)路徑；

通過Hadoop分布式文件系統(tǒng)hdfs客戶端根據(jù)所述數(shù)據(jù)產(chǎn)出文件的_?SUCCESS文件的真實(shí)分區(qū)路徑找出包含數(shù)據(jù)產(chǎn)出文件的_SUCCESS文件并對(duì)數(shù)據(jù)產(chǎn)出文件的_SUCCESS文件進(jìn)行檢測(cè)；

根據(jù)數(shù)據(jù)產(chǎn)出文件的_SUCCESS文件檢測(cè)結(jié)果對(duì)產(chǎn)出數(shù)據(jù)進(jìn)行監(jiān)控，具體包括：若檢測(cè)結(jié)果為數(shù)據(jù)已產(chǎn)出，hdfs客戶端返回_SUCCESS文件信息并根據(jù)返回的_SUCCESS文件信息解析出數(shù)據(jù)產(chǎn)出時(shí)間，將數(shù)據(jù)產(chǎn)出時(shí)間寫入監(jiān)控結(jié)果信息中；若檢測(cè)結(jié)果為數(shù)據(jù)未產(chǎn)出，將未產(chǎn)出的數(shù)據(jù)信息寫入報(bào)警列表，并根據(jù)預(yù)設(shè)的報(bào)警策略進(jìn)行存儲(chǔ)和報(bào)警。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述根據(jù)監(jiān)控配置信息中數(shù)據(jù)產(chǎn)出周期確定各個(gè)監(jiān)控項(xiàng)的預(yù)期產(chǎn)出時(shí)間具體包括：

獲取監(jiān)控結(jié)果信息，所述監(jiān)控結(jié)果信息記錄監(jiān)控結(jié)果信息中各個(gè)監(jiān)控項(xiàng)在所述預(yù)定時(shí)間內(nèi)的數(shù)據(jù)產(chǎn)出時(shí)間；將所述監(jiān)控配置信息與所述監(jiān)控結(jié)果信息進(jìn)行連接；以及，根據(jù)連接后的監(jiān)控配置信息中數(shù)據(jù)產(chǎn)出周期確定各個(gè)監(jiān)控項(xiàng)的預(yù)期產(chǎn)出時(shí)間；

所述提取預(yù)期產(chǎn)出時(shí)間在所述預(yù)定時(shí)間內(nèi)的監(jiān)控項(xiàng)和對(duì)應(yīng)的數(shù)據(jù)產(chǎn)出周期作為目標(biāo)監(jiān)控配置信息還包括：

提取通過預(yù)期產(chǎn)出開始時(shí)間和預(yù)期產(chǎn)出結(jié)束時(shí)間描述的預(yù)期產(chǎn)出時(shí)間在所述預(yù)定時(shí)間內(nèi)并且監(jiān)控結(jié)果信息中數(shù)據(jù)產(chǎn)出時(shí)間為空的監(jiān)控項(xiàng)和對(duì)應(yīng)的數(shù)據(jù)產(chǎn)出周期作為目標(biāo)監(jiān)控配置信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，

若檢測(cè)結(jié)果為數(shù)據(jù)未產(chǎn)出，將未產(chǎn)出的數(shù)據(jù)信息寫入報(bào)警列表，并根據(jù)預(yù)設(shè)的報(bào)警策略進(jìn)行存儲(chǔ)和報(bào)警還包括：根據(jù)報(bào)警類型不同，對(duì)每種報(bào)警類型預(yù)先配置對(duì)應(yīng)的報(bào)警策略，所述報(bào)警策略包括與報(bào)警類型對(duì)應(yīng)的報(bào)警方式和與報(bào)警類型對(duì)應(yīng)的報(bào)警列表的存儲(chǔ)方式。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述間隔預(yù)定時(shí)間查詢監(jiān)控配置信息之前，所述方法還包括：通過前端頁面獲取監(jiān)控配置信息；

根據(jù)數(shù)據(jù)產(chǎn)出文件的_SUCCESS文件檢測(cè)結(jié)果對(duì)產(chǎn)出數(shù)據(jù)進(jìn)行監(jiān)控之后，所述方法還包括：通過前端頁面顯示已產(chǎn)出數(shù)據(jù)信息和未產(chǎn)出數(shù)據(jù)信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述目標(biāo)監(jiān)控配置信息還包括監(jiān)控重要等級(jí)大于預(yù)設(shè)等級(jí)的監(jiān)控項(xiàng)和對(duì)應(yīng)的數(shù)據(jù)產(chǎn)出周期。