[發明專利]數據監控方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010092311.0
• 申請日: 2020-02-14
• 公開（公告）號: CN111367754A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 戴建明
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/07;G06F16/242;G06F16/28
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 吳英銘

本發明涉及系統數據監控領域，公開了一種數據監控方法、裝置、計算機設備及存儲介質，其方法包括：在Oracle數據庫配置監控規則，監控規則用于監測指定數據指標；將監控規則發送至Hive數據庫；根據監控規則分別在Oracle數據庫和Hive數據庫獲取監測結果；根據監測結果計算差異度；若差異度大于預設告警閾值，則將監測結果輸入預設監測結果處理模型；獲取預設監測結果處理模型輸出的錯誤原因；獲取與錯誤原因適配的數據修復腳本；根據數據修復腳本對Oracle數據庫和\或Hive數據庫的數據進行修復。本發明可提高Hive數據庫與Oracle數據庫之間跨庫數據監控的處理效率和時效性，并可實現錯誤數據的自動修復。

技術領域

本發明涉及系統數據監控領域，尤其涉及一種數據監控方法、裝置、計算機設備及存儲介質。

背景技術

數據監控對數據運營具有十分重要的意義。數據監控能及時發現數據計算過程中存在的異常，也能及時發現數據計算結果存在的異常，以便于在出現數據異常時及時進行干預，修復存在的異常。

傳統的數據監控都只能在單一數據庫上對數據進行監控，或兩個結構類似庫的簡單對比。若對結構差異較大的數據庫跨庫進行運營數據監控，如Hive數據庫與Oracle數據庫，則需要分別統計各自的監測數據，再導出進行加工對比，需要較多的人工參與，處理效率及時效性均較差。若數據庫之間出現異常無法及時處理，則會出現嚴重的不良后果。

發明內容

基于此，有必要針對上述技術問題，提供一種數據監控方法、裝置、計算機設備及存儲介質，以提高Hive數據庫與Oracle數據庫之間跨庫數據監控的處理效率和時效性。

一種數據監控方法，包括：

在Oracle數據庫配置監控規則，所述監控規則用于監測指定數據指標；

將所述監控規則發送至Hive數據庫；

根據所述監控規則在所述Oracle數據庫獲取指定時間范圍內的第一監測結果；根據所述監控規則在所述Hive數據庫獲取所述指定時間范圍內的第二監測結果；

將所述第二監測結果導入所述Oracle數據庫中，并計算所述第一監測結果和所述第二監測結果的差異度；

若所述差異度大于預設告警閾值，則將所述第一監測結果和所述第二監測結果輸入預設監測結果處理模型；

獲取所述預設監測結果處理模型輸出的錯誤原因；

獲取與所述錯誤原因適配的數據修復腳本；

根據所述數據修復腳本對所述Oracle數據庫和\或所述Hive數據庫的數據進行修復。

一種數據監控裝置，包括：

規則配置模塊，用于在Oracle數據庫配置監控規則，所述監控規則用于監測指定數據指標；

規則發送模塊，用于將所述監控規則發送至Hive數據庫；

獲取監測結果模塊，用于根據所述監控規則在所述Oracle數據庫獲取指定時間范圍內的第一監測結果；根據所述監控規則在所述Hive數據庫獲取所述指定時間范圍內的第二監測結果；

差異度計算模塊，用于將所述第二監測結果導入所述Oracle數據庫中，并計算所述第一監測結果和所述第二監測結果的差異度；

模型分析模塊，用于若所述差異度大于預設告警閾值，則將所述第一監測結果和所述第二監測結果輸入預設監測結果處理模型；

模型輸出模塊，用于獲取所述預設監測結果處理模型輸出的錯誤原因；

獲取修復腳本模塊，用于獲取與所述錯誤原因適配的數據修復腳本；