[發明專利]任務監控方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010151372.X
• 申請日: 2020-03-06
• 公開（公告）號: CN111400130A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 戴文鵬
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F9/54;G06F16/22;G06F16/2455;G06F16/27
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及數據處理技術領域，提供一種任務監控方法、裝置、電子設備及存儲介質。該方法同步任務系統中的待監控任務的相關信息至任務監控平臺，實現對任務數據的統一處理，并在所述任務監控平臺中基于Spark Streaming框架對所述信息進行實時處理，得到任務數據，顯示并存儲所述任務數據，實現任務的實時監控及可視化，從所述待監控任務的監控指令中獲取待監控任務的參數信息以在所述任務數據中進行查詢，得到待監控任務的當前運行數據及歷史運行數據，根據所述當前運行數據與所述歷史運行數據的差異值確定所述待監控任務是否異常，進而根據需要對任務的運行情況進行比對，便于對任務進行異常檢測，提升了任務的執行效率，也間接提高了任務的完成質量。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種任務監控方法、裝置、電子設備及存儲介質。

背景技術

一個項目的任務往往涉及到很多數據，例如：系統的運行數據或者其他任務數據等，這些數據往往被分散且無規律的存儲在各個數據庫中。

由于任務的多樣性及復雜性，目前很難實現對相關任務的統一存儲及實時監控，也就無法及時檢測到每個任務的運行狀態，那么當遇到異常情況時，也就無法實現對異常的及時處理，影響了整個項目的正常執行。

發明內容

鑒于以上內容，有必要提供一種任務監控方法、裝置、電子設備及存儲介質，能夠集成與任務相關聯的所有數據，并對這些數據進行實時監控及顯示，便于及時發現異常并處理，提升了任務的執行效率，也間接提高了任務的完成質量。

一種任務監控方法，所述方法包括：

當接收到待監控任務時，將所述待監控任務輸入至任務系統；

同步所述任務系統中與所述待監控任務相關的預設種類的信息至項目任務監控平臺；

在所述項目任務監控平臺，基于Spark Streaming框架對所述信息進行實時處理，得到任務數據，顯示并存儲所述任務數據；

當接收到對所述待監控任務的監控指令時，從所述監控指令中獲取所述待監控任務的參數信息；

根據所述參數信息在所述任務數據中進行查詢，得到所述待監控任務的當前運行數據及歷史運行數據；

計算所述當前運行數據與所述歷史運行數據的差異值；

當所述差異值大于配置閾值時，確定所述待監控任務異常。

根據本發明優選實施例，所述同步所述任務系統中與所述待監控任務相關的預設種類的信息至項目任務監控平臺，包括：

當所述信息為指定任務的運行信息時，利用哈希函數計算所述運行信息的分片號；

基于所述分片號將所述運行信息同步至Kafka消息隊列。

根據本發明優選實施例，所述利用哈希函數計算所述運行信息的分片號包括：

通過分片函數的計算結果對預設的哈希桶取模，得到所述分片號，其中，所述分片函數如下：

其中，Hash_Bucket為所述預設的哈希桶，slice_id是指所述運行信息的分片號，是指按照名稱分布時所述運行信息的量化函數，day_time(time)是指按照時間分布時所述運行信息的量化函數，b1是指按照名稱分布時相鄰信息間的分散程度，b2是指按照時間分布時相鄰信息間的分散程度，w1是指按照名稱分布時的未標準化權重，w2是指按照時間分布時的未標準化權重。

根據本發明優選實施例，所述方法還包括：

設置w2為0，以按照名稱將所述運行信息同步至所述Kafka消息隊列；或者