[發明專利]數據監控方法、系統、存儲介質及電子設備

在審

• 申請號: 202011069660.7
• 申請日: 2020-09-30
• 公開（公告）號: CN112148714A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 楊裕倫;黎清顧;劉勤;林凱常;白金蓬;徐鑫
• 申請（專利權）人: 珠海格力電器股份有限公司;珠海聯云科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F11/07;G06F11/30
• 代理公司: 北京聿宏知識產權代理有限公司 11372
• 代理人: 吳大建;陳敏

本申請涉及數據監控技術領域，具體涉及一種數據監控方法、系統、存儲介質及電子設備，解決了相關技術中由于未對數據的正確性進行驗證，在遷移的數據量較大的情況下，就很容易出現數據錯誤，降低了存儲數據的完整性和有效性，增加了數據遷移耗時的問題。該方法包括：通過數據狀態監控表在所述數據源服務器的數據正在更新或更新失敗時處于不可操作狀態的權限設置，避免服務器鎖死和循環等待，提升數據更新成功率；設置多個數據接入環節的計時判斷功能，以保證接入到下一環節的源數據的準確性和成功率，結合對各個接入環節對應的監控表或狀態表的監控，可以實時發現異常并推送給監控人員。

技術領域

本申請涉及數據監控技術領域，特別地涉及一種數據監控方法、系統、存儲介質及電子設備。

背景技術

大數據，是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，由于大數據具有數據海量、且高多樣性的特點，給數據遷移和數據監控提出了很大的挑戰。

現有的數據監控方法，是通過獲取數據在預設時長內的存儲時間和調用頻，根據所述存儲時間和調用頻率，劃分所述數據的生命周期階段，以便針對所述數據的各生命周期階段選擇相應的數據存儲策略。但是現有的方法中，只是監控數據生命周期階段，保證以相應的數據存儲策略存儲數據，而并未對數據的正確性進行驗證，在遷移的數據量較大的情況下，就很容易出現數據錯誤，降低了存儲數據的完整性和有效性，甚至需要重新傳輸數據，導致數據遷移耗時大幅增加。

發明內容

針對上述問題，本申請提供一種數據監控方法、系統、存儲介質及電子設備，解決了相關技術中由于未對數據的正確性進行驗證，在遷移的數據量較大的情況下，就很容易出現數據錯誤，降低了存儲數據的完整性和有效性，增加了數據遷移耗時的技術問題。

第一方面，本申請提供了一種數據監控方法，所述方法包括：

根據數據狀態監控表，監控源數據服務器的數據狀態，其中，所述數據狀態包括正在更新、更新成功和更新失敗，所述數據狀態監控表在所述數據源服務器的數據正在更新或更新失敗時處于不可操作狀態；

讀取所述數據狀態監控表中的數據狀態，當讀取到所述數據狀態監控表中的數據狀態為更新成功時，啟動接入程序，將源數據接入大數據中臺的ODS層中；

當讀取到所述數據狀態監控表中的數據狀態為更新失敗或正在更新時，持續讀取數據狀態并開始計時，當計時時間達到第一預設時間時，讀取到的數據狀態還是更新失敗或正在更新，則將源數據接入失敗信息寫入數據接入狀態表中；

對接入所述ODS層中的源數據進行數據預處理，若處理失敗，則重新進行數據預處理并開始計時，當計時時間達到第二預設時間時仍然處理失敗，則將預處理失敗信息寫入數據中臺狀態表中；若處理成功，則將完成數據預處理后的源數據從ODS層接入大數據中臺的CDM層中；

對接入所述CDM層中的完成預處理的源數據進行數據處理，若處理失敗，則重新進行數據處理并開始計時，當計時時間達到第三預設時間時仍然處理失敗，則將處理失敗信息寫入所述數據中臺狀態表中；若處理成功，則將完成數據處理后的源數據從CDM層接入大數據中臺的APP層中；

監控應用系統服務器的數據庫的狀態，若監控到數據庫異常，則將數據庫異常信息寫入服務器狀態表中。

可選的，所述啟動接入程序后，還包括：

對所述源數據進行數據準確性校驗，若校驗通過，則將源數據接入大數據中臺的ODS層中；

若校驗失敗，則持續進行校驗并開始計時，當計時時間達到第四預設時間時仍未通過校驗，則將校驗失敗信息寫入數據接入狀態表中。

可選的，所述若處理成功，則在將完成數據預處理后的源數據從ODS層接入大數據中臺的CDM層的過程中，還包括：