[發(fā)明專利]數(shù)據(jù)同步的監(jiān)控方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011086521.5
• 申請日: 2020-10-12
• 公開（公告）號(hào): CN112286757A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 汪早榮;劉昊;孫林才
• 申請（專利權(quán)）人: 浙江深大智能科技有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F11/32;G06F16/13;G06F16/178;G06F16/18
• 代理公司: 杭州創(chuàng)智卓英知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33324
• 代理人: 詹璐瑤

本發(fā)明公開了一種數(shù)據(jù)同步的監(jiān)控方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)，其中，該監(jiān)控方法包括：集多個(gè)業(yè)務(wù)日志，其中，業(yè)務(wù)日志配置有日志類型標(biāo)識(shí)，日志類型標(biāo)識(shí)用于區(qū)分業(yè)務(wù)日志的來源，將多個(gè)業(yè)務(wù)日志基于日志類型標(biāo)識(shí)進(jìn)行過濾得到第一日志，將第一日志存儲(chǔ)到Elasticsearch，根據(jù)Elasticsearch中的日志索引查詢第一日志，根據(jù)第一日志中的錯(cuò)誤代碼發(fā)出預(yù)警信息或告警信息，其中，預(yù)警信息包括網(wǎng)絡(luò)存在異常波動(dòng)，告警信息包括數(shù)據(jù)傳輸存在異常。通過本申請，解決了對異構(gòu)系統(tǒng)的數(shù)據(jù)同步進(jìn)行監(jiān)控存在效率低的問題，提高了對異構(gòu)系統(tǒng)的數(shù)據(jù)同步進(jìn)行監(jiān)控的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)同步的監(jiān)控方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

旅游行業(yè)的銷售方式多數(shù)為線上電子商務(wù)銷售與線下實(shí)體窗口銷售同步進(jìn)行的模式，而線上平臺(tái)的訂單往往來自線下的不同景區(qū)，因此需要將線上平臺(tái)的訂單數(shù)據(jù)與各個(gè)線下的票務(wù)客戶端進(jìn)行同步，從而保證訂單可以順利完成。而在實(shí)際中會(huì)出現(xiàn)訂單數(shù)據(jù)同步異常的情況，此時(shí)需要確定錯(cuò)誤類型才能對線上平臺(tái)或票務(wù)客戶端進(jìn)行快速修復(fù)。在相關(guān)技術(shù)中，不同票務(wù)客戶端的接口和數(shù)據(jù)不統(tǒng)一，導(dǎo)致需要對不同票務(wù)客戶端上的已有業(yè)務(wù)進(jìn)行修改，才能對不同票務(wù)客戶端上的異構(gòu)系統(tǒng)進(jìn)行數(shù)據(jù)同步以及對數(shù)據(jù)同步過程進(jìn)行監(jiān)控，效率較低。

針對相關(guān)技術(shù)中，對異構(gòu)系統(tǒng)的數(shù)據(jù)同步進(jìn)行監(jiān)控存在效率低的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請實(shí)施例提供了一種數(shù)據(jù)同步的監(jiān)控方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中對異構(gòu)系統(tǒng)的數(shù)據(jù)同步進(jìn)行監(jiān)控存在效率低的問題。

第一方面，本申請實(shí)施例提供了一種數(shù)據(jù)同步的監(jiān)控方法，所述方法包括：

采集多個(gè)業(yè)務(wù)日志，其中，所述業(yè)務(wù)日志配置有日志類型標(biāo)識(shí)，所述日志類型標(biāo)識(shí)用于區(qū)分所述業(yè)務(wù)日志的來源；

將多個(gè)所述業(yè)務(wù)日志基于所述日志類型標(biāo)識(shí)進(jìn)行過濾得到第一日志，將所述第一日志存儲(chǔ)到Elasticsearch；

根據(jù)Elasticsearch中的日志索引查詢所述第一日志，根據(jù)所述第一日志中的錯(cuò)誤代碼發(fā)出預(yù)警信息或告警信息，其中，所述預(yù)警信息包括網(wǎng)絡(luò)存在異常波動(dòng)，所述告警信息包括數(shù)據(jù)傳輸存在異常。

在其中一些實(shí)施例中，所述將多個(gè)所述業(yè)務(wù)日志基于所述日志類型標(biāo)識(shí)進(jìn)行過濾得到第一日志包括：配置grok表達(dá)式，按照所述日志類型標(biāo)識(shí)對應(yīng)的字段對所述業(yè)務(wù)日志進(jìn)行過濾得到所述第一日志。

在其中一些實(shí)施例中，所述將多個(gè)所述業(yè)務(wù)日志基于所述日志類型標(biāo)識(shí)進(jìn)行過濾得到第一日志，將所述第一日志存儲(chǔ)到Elasticsearch，包括：

在所述日志類型標(biāo)識(shí)是客戶端日志的情況下，對多個(gè)所述業(yè)務(wù)日志匹配客戶端服務(wù)編碼，并抓取多個(gè)所述業(yè)務(wù)日志中數(shù)據(jù)同步的訂單編號(hào)、訂單時(shí)間、異常代碼和操作耗時(shí)，得到所述第一日志，其中，所述客戶端服務(wù)編碼是所述業(yè)務(wù)日志所屬客戶端的唯一標(biāo)識(shí)；

創(chuàng)建日志索引，基于所述日志索引將所述第一日志存儲(chǔ)到Elasticsearch。

在其中一些實(shí)施例中，所述將多個(gè)所述業(yè)務(wù)日志基于所述日志類型標(biāo)識(shí)進(jìn)行過濾得到第一日志，包括：

在所述日志類型標(biāo)識(shí)是交互網(wǎng)絡(luò)日志的情況下，對多個(gè)所述業(yè)務(wù)日志匹配組件服務(wù)編碼，并抓取多個(gè)所述業(yè)務(wù)日志中的組件異常日志，得到所述第一日志。

在其中一些實(shí)施例中，所述將多個(gè)所述業(yè)務(wù)日志基于所述日志類型標(biāo)識(shí)進(jìn)行過濾得到第一日志，包括：

在所述日志類型標(biāo)識(shí)是設(shè)備運(yùn)行日志的情況下，對多個(gè)所述業(yè)務(wù)日志匹配設(shè)備編號(hào)，并抓取多個(gè)所述業(yè)務(wù)日志中的設(shè)備運(yùn)行狀態(tài)異常日志，得到所述第一日志。