[發明專利]離線作業時效預警方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211312120.6
• 申請日: 2022-10-25
• 公開（公告）號: CN115599960A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 譚罡
• 申請（專利權）人: 平安銀行股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/23
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 郭科兵

本申請提供一種離線作業時效預警方法、裝置、電子設備及存儲介質。該方法通過解析離線數據平臺中的所有作業代碼生成作業血緣關系圖譜，然后根據各作業的當前執行狀態和獲取到的作業執行實時日志、作業執行歷史日志以及該作業血緣關系圖譜生成作業執行動態圖譜，基于此在判斷預關注作業的完成時刻滿足時效預警條件時，結合該作業血緣關系圖譜和該作業動態執行圖譜，從各作業中確定與該預關注作業相關聯的延遲上游作業，并向該延遲上游作業的作業屬主推送延遲預警。該方法通過生成的作業執行動態圖譜，全面的監控了各個作業的執行情況，實現了問題的早發現，提高了預警的及時性。

技術領域

本申請涉及信息處理技術領域，尤其涉及一種離線作業時效預警方法、裝置、電子設備及存儲介質。

背景技術

隨著離線數據平臺的快速發展，越來越多的行業需要在離線數據平臺上運行批處理任務。通過離線數據平臺加工的數據，在重要的時間節點對公司的決策支持、分析預測等尤其重要。

然而，傳統的離線批處理作業時效預警方法受限于技術能力，往往只關注數據處理環節重要節點的每個作業本身，當作業執行完成時間大于預設閾值或者超過了預設閾值還未完成時，才會通知相關運維人員。因此當運維人員收到預警信息時，往往意味著相應數據應用已極大概率無法在預定的時間節點產出相應數據，最終影響業務分析決策、AI預測等應用，對公司經營發展造成一定的負面影響。

因此，當前方法存在時效預警只關注數據處理環節重要節點的作業本身，導致預警不及時，對后續分析產生影響的技術問題，需要改進。

發明內容

本申請提供一種離線作業時效預警方法、裝置、電子設備及存儲介質，用于緩解當前方法存在的時效預警只關注數據處理環節重要節點的作業本身，導致預警不及時，對后續分析產生影響的技術問題。

為了解決上述技術問題，本申請提供以下技術方案：

本申請提供一種離線作業時效預警方法，包括：

解析離線數據平臺中的所有作業代碼，得到并根據解析結果生成作業血緣關系圖譜，所述作業血緣關系圖譜用于描述各作業之間的關聯關系；

獲取作業執行實時日志、作業執行歷史日志以及預關注作業的時效預警條件；

根據各作業的當前執行狀態、所述作業執行實時日志、所述作業執行歷史日志以及所述作業血緣關系圖譜，確定各作業的開始時刻和完成時刻，并生成作業執行動態圖譜；

根據各作業的完成時刻確定所述預關注作業的完成時刻，并判斷所述預關注作業的完成時刻是否滿足時效預警條件；

在所述預關注作業的完成時刻滿足所述時效預警條件時，結合所述作業血緣關系圖譜和所述作業動態執行圖譜，從各作業中確定與所述預關注作業相關聯的延遲上游作業，并向所述延遲上游作業的作業屬主推送延遲預警。

相應的，本申請還提供一種離線作業時效預警裝置，包括：

代碼解析模塊，用于解析離線數據平臺中的所有作業代碼，得到并根據解析結果生成作業血緣關系圖譜，所述作業血緣關系圖譜用于描述各作業之間的關聯關系；

第一獲取模塊，用于獲取作業執行實時日志、作業執行歷史日志以及預關注作業的時效預警條件；

執行圖譜生成模塊，用于根據各作業的當前執行狀態、所述作業執行實時日志、所述作業執行歷史日志以及所述作業血緣關系圖譜，確定各作業的開始時刻和完成時刻，并生成作業執行動態圖譜；

判斷模塊，用于根據各作業的完成時刻確定所述預關注作業的完成時刻，并判斷所述預關注作業的完成時刻是否滿足時效預警條件；