[發明專利]數據處理方法、設備、存儲介質及裝置

有效

• 申請號: 202010749456.3
• 申請日: 2020-07-28
• 公開（公告）號: CN111858065B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 王富霖
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/25;G06F16/28;G06F11/07
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 徐進之

1.一種數據處理方法，其特征在于，所述數據處理方法包括以下步驟：

獲取數據表血緣關系，根據所述數據表血緣關系確定待處理數據對應的多個任務的執行順序；

根據所述執行順序對待處理數據對應的多個任務進行跑批處理；

記錄各所述任務的運行信息，并根據所述運行信息判斷各所述任務是否異常；

若各所述任務中存在異常任務，則根據所述數據表血緣關系和所述執行順序生成補取鏈條；

根據所述補取鏈條獲取補取數據，并對所述補取數據進行跑批處理；

所述獲取數據表血緣關系，根據所述數據表血緣關系確定待處理數據對應的多個任務的執行順序，包括：

獲取數據庫中各數據表對象的關系，根據各數據表對象的關系建立數據表血緣關系；

根據所述數據表血緣關系生成待處理數據對應的多個任務之間的依賴關系；

根據所述依賴關系確定各所述任務的執行順序；

所述若各所述任務中存在異常任務，則根據所述數據表血緣關系和所述執行順序生成補取鏈條的步驟包括：

若各所述任務中存在異常任務，根據所述數據表血緣關系生成所述待處理數據對應的多個任務之間的依賴關系，基于所述依賴關系和所述執行順序，自動生成手工補取鏈條。

2.如權利要求1所述的數據處理方法，其特征在于，所述任務包括關鍵任務和非關鍵任務；

所述根據所述執行順序對待處理數據對應的多個任務進行跑批處理之后，所述數據處理方法還包括：

獲取系統的資源使用情況，并獲取所述關鍵任務和所述非關鍵任務的并發狀態；

根據所述資源使用情況判斷是否對所述并發狀態進行調整。

3.如權利要求1所述的數據處理方法，其特征在于，所述根據所述運行信息判斷各所述任務是否異常，包括：

從所述運行信息中提取各所述任務的當前運行時長；

獲取各所述任務的歷史運行時長；

根據所述當前運行時長和所述歷史運行時長，判斷各所述任務是否異常。

4.如權利要求3所述的數據處理方法，其特征在于，所述獲取各所述任務的歷史運行時長之后，所述數據處理方法還包括：

從所述運行信息中提取各所述任務的當前處理速度；

獲取各所述任務的歷史處理速度；

所述根據所述當前運行時長和所述歷史運行時長，判斷各所述任務是否異常，包括：

根據所述當前運行時長、所述歷史運行時長、所述當前處理速度及所述歷史處理速度，判斷各所述任務是否異常。

5.如權利要求4所述的數據處理方法，其特征在于，根據所述當前運行時長、所述歷史運行時長、所述當前處理速度及所述歷史處理速度，判斷各所述任務是否異常，包括：

計算所述當前運行時長和所述歷史運行時長之間的時間差值；

在所述當前運行時長大于所述歷史運行時長，且所述時間差值大于預設時間差閾值時，計算所述當前處理速度和所述歷史處理速度之間的速度差值；

在所述當前處理速度小于所述歷史處理速度，且所述速度差值大于預設速度差閾值時，將對應的任務認定為異常任務。

6.如權利要求1所述的數據處理方法，其特征在于，所述若各所述任務中存在異常任務，則根據所述數據表血緣關系和所述執行順序生成補取鏈條之后，所述數據處理方法還包括：

根據所述數據表血緣關系和所述異常任務定位目標業務；

發送告警信息至所述目標業務對應的終端。

7.一種數據處理設備，其特征在于，所述數據處理設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的數據處理程序，所述數據處理程序被所述處理器執行時實現如權利要求1至6中任一項所述的數據處理方法的步驟。

8.一種存儲介質，其特征在于，所述存儲介質上存儲有數據處理程序，所述數據處理程序被處理器執行時實現如權利要求1至6中任一項所述的數據處理方法的步驟。

9.一種數據處理裝置，其特征在于，所述數據處理裝置包括：

確定模塊，用于獲取數據表血緣關系，根據所述數據表血緣關系確定待處理數據對應的多個任務的執行順序；

跑批處理模塊，用于根據所述執行順序對待處理數據對應的多個任務進行跑批處理；

判斷模塊，用于記錄各所述任務的運行信息，并根據所述運行信息判斷各所述任務是否異常；

生成模塊，用于若各所述任務中存在異常任務，則根據所述數據表血緣關系和所述執行順序生成補取鏈條；

所述跑批處理模塊，還用于根據所述補取鏈條獲取補取數據，并對所述補取數據進行跑批處理；

所述獲取數據表血緣關系，根據所述數據表血緣關系確定待處理數據對應的多個任務的執行順序，包括：

獲取數據庫中各數據表對象的關系，根據各數據表對象的關系建立數據表血緣關系；根據所述數據表血緣關系生成待處理數據對應的多個任務之間的依賴關系；根據所述依賴關系確定各所述任務的執行順序；

所述若各所述任務中存在異常任務，則根據所述數據表血緣關系和所述執行順序生成補取鏈條包括：

若各所述任務中存在異常任務，根據所述數據表血緣關系生成所述待處理數據對應的多個任務之間的依賴關系，基于所述依賴關系和所述執行順序，自動生成手工補取鏈條。