[發明專利]數據處理過程的監管方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010575552.0
• 申請日: 2020-06-22
• 公開（公告）號: CN111782679A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 劉藝
• 申請（專利權）人: 深圳市酷開網絡科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/28;G06F16/23;H04L29/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發明實施例公開了一種數據處理過程的監管方法、裝置、計算機設備及存儲介質。該方法包括：檢測在預設的時間節點結果表中是否有第一任務的更新數據；若否，則將第一任務標記為失敗任務；根據任務依賴關系確定失敗任務在數據上游中對應的頂端任務；調度頂端任務進行重試，并在頂端任務成功修復后，根據任務依賴關系繼續調度頂端任務在數據下游中對應的第二任務，直至結果表中出現第一任務的更新數據，第二任務包括第一任務。本發明實施例所提供的技術方案，實現了對數據處理過程的監管，及時的發現數據處理鏈條中的失敗信息并自動恢復，保證了數據處理鏈條的通暢以及數據處理任務的順利執行。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種數據處理過程的監管方法、裝置、計算機設備及存儲介質。

背景技術

在通過互聯網向用戶提供各種應用服務的行業(OTT)中，所涉及的業務比較分散且多樣，如影視播放、體育、教育、少兒以及購物等等業務分類，各個業務線需要不同的報表和數據來支持決策和狀態感知。不管是數據倉庫本身的建設過程還是為外部服務提供數據支持，過程中通過對原始數據不斷的分層處理產生一個數據的處理鏈條，該處理鏈條的上下游將會產生大量的數據表，同時這些數據表之間也存在一定的血緣關系。但是當處理鏈條因其中一個步驟的失敗而斷開時，將會影響到該步驟之后的數據使用效果，該處理鏈條也就不再能順利執行。

發明內容

本發明實施例提供一種數據處理過程的監管方法、裝置、計算機設備及存儲介質，以實現對數據處理過程的監管，從而保證數據處理任務的順利執行。

第一方面，本發明實施例提供了一種數據處理過程的監管方法，該方法包括：

檢測在預設的時間節點結果表中是否有第一任務的更新數據；若否，則將所述第一任務標記為失敗任務；

根據任務依賴關系確定所述失敗任務在數據上游中對應的頂端任務；

調度所述頂端任務進行重試，并在所述頂端任務成功修復后，根據所述任務依賴關系繼續調度所述頂端任務在數據下游中對應的第二任務，直至所述結果表中出現所述第一任務的更新數據，所述第二任務包括所述第一任務。

第二方面，本發明實施例還提供了一種數據處理過程的監管裝置，該裝置包括：

更新檢測模塊，用于檢測在預設的時間節點結果表中是否有第一任務的更新數據；若否，則將所述第一任務標記為失敗任務；

任務確定模塊，用于根據任務依賴關系確定所述失敗任務在數據上游中對應的頂端任務；

任務重試模塊，用于調度所述頂端任務進行重試，并在所述頂端任務成功修復后，根據所述任務依賴關系繼續調度所述頂端任務在數據下游中對應的第二任務，直至所述結果表中出現所述第一任務的更新數據，所述第二任務包括所述第一任務。

第三方面，本發明實施例還提供了一種計算機設備，該計算機設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現本發明任意實施例所提供的數據處理過程的監管方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現本發明任意實施例所提供的數據處理過程的監管方法。