[發明專利]數據處理方法、設備、存儲介質及裝置

有效

• 申請號: 202010749456.3
• 申請日: 2020-07-28
• 公開（公告）號: CN111858065B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 王富霖
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/25;G06F16/28;G06F11/07
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 徐進之

本發明涉及大數據技術領域，公開了一種數據處理方法、設備、存儲介質及裝置，該方法通過獲取數據表血緣關系，根據所述數據表血緣關系確定待處理數據對應的多個任務的執行順序，根據所述執行順序對待處理數據對應的多個任務進行跑批處理，基于數據表血緣關系生成的調度先后依賴關系準確，從而提高任務處理時效；記錄各所述任務的運行信息，并根據所述運行信息判斷各所述任務是否異常，若各所述任務中存在異常任務，則根據所述數據表血緣關系和所述執行順序生成補取鏈條，根據所述補取鏈條獲取補取數據，并對所述補取數據進行跑批處理，基于補取數據對異常任務重新處理，提高數據處理效率和質量。

技術領域

本發明涉及數據處理的技術領域，尤其涉及一種數據處理方法、設備、存儲介質及裝置。

背景技術

聯機分析處理(Online AnalyticalProcessing，OLAP)進行數據治理，存在的問題包括：1、多用戶環境下，有限的資源如何分配和隔離相互影響。既要保障高優先級任務的及時完成的同時，又要避免“餓死”低優先級任務；2、數據庫表血緣關系難以準確獲取，數據上下游先后處理順序不當，會帶來數據不完整或者不準確的問題；3、出現數據延遲完成或者數據不完整，不準確等異常時，不能及時無遺漏的做好信息發布，準確通知到對應的關聯方；4、異常處理過程中，在上游處理完成后，下游應當重運行的任務范圍難以準確確認，手工處理效率低；5、OLAP跑批調度中前后依賴關系以及任務互斥等關系復雜，只見樹木不見森林，整個調度的完成進度難以掌控。綜上，目前OLAP進行數據處理時，數據處理效率低且質量差。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種數據處理方法、設備、存儲介質及裝置，旨在解決現有技術中OLAP進行數據處理時效率低且質量差的技術問題。

為實現上述目的，本發明提供一種數據處理方法，所述數據處理方法包括以下步驟：

獲取數據表血緣關系，根據所述數據表血緣關系確定待處理數據對應的多個任務的執行順序；

根據所述執行順序對待處理數據對應的多個任務進行跑批處理；

記錄各所述任務的運行信息，并根據所述運行信息判斷各所述任務是否異常；

若各所述任務中存在異常任務，則根據所述數據表血緣關系和所述執行順序生成補取鏈條；

根據所述補取鏈條獲取補取數據，并對所述補取數據進行跑批處理。

優選地，所述任務包括關鍵任務和非關鍵任務；

所述根據所述執行順序對待處理數據對應的多個任務進行跑批處理之后，所述數據處理方法還包括：

獲取系統的資源使用情況，并獲取所述關鍵任務和所述非關鍵任務的并發狀態；

根據所述資源使用情況判斷是否對所述并發狀態進行調整。

優選地，所述根據所述運行信息判斷各所述任務是否異常，包括：

從所述運行信息中提取各所述任務的當前運行時長；

獲取各所述任務的歷史運行時長；

根據所述當前運行時長和所述歷史運行時長，判斷各所述任務是否異常。

優選地，所述獲取各所述任務的歷史運行時長之后，所述數據處理方法還包括：

從所述運行信息中提取各所述任務的當前處理速度；

獲取各所述任務的歷史處理速度；

所述根據所述當前運行時長和所述歷史運行時長，判斷各所述任務是否異常，包括：