[發明專利]數據處理方法、裝置、系統、計算機可讀存儲介質

在審

• 申請號: 201911154450.5
• 申請日: 2019-11-21
• 公開（公告）號: CN111078423A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 許俊剛
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/21
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 劉麗麗

本公開提供一種數據處理方法，包括：從至少一個父任務數據中獲取目標父任務數據，其中，至少一個父任務數據中的每個父任務數據均包括與配置數據相匹配的父任務類型標識；根據目標父任務的目標父任務類型標識，確定與目標父任務類型標識相匹配的目標配置數據，其中，目標配置數據表征針對目標父任務數據的處理方式；根據目標配置數據，處理目標父任務數據得到多個子任務數據；將多個子任務數據發送至多個子服務器中進行處理。本公開還提供了一種數據處理裝置、一種數據處理系統以及一種計算機可讀存儲介質。

技術領域

本公開涉及計算機技術領域，更具體地，涉及一種數據處理方法、一種數據處理裝置、一種數據處理系統、以及一種計算機可讀存儲介質。

背景技術

在日常生產中，為了提升異步業務的處理速度，一個完整的業務會被拆分成多個子任務并行處理。目前現有的數據處理方法包括由異步業務基于一個業務創建多個子任務數據，并將多個子任務數據添加至數據庫中，由多個子任務處理服務器定時查詢數據庫中新添加的子任務數據，當查詢到子任務數據后由子任務處理服務器處理子任務數據，處理成功后刪除對應的子任務數據。或者，由異步業務創建多個子任務，并將多個子任務數據封裝成消息發送到消息隊列中，由指定的子任務處理服務器接收多個子任務數據后處理該指定子任務處理服務器可以處理的子任務，再將任務數據(包括未處理的子任務數據)發回到消息隊列中，繼續指定其他子任務處理服務器進行處理。

在實現本公開構思的過程中，發明人發現相關技術中至少存在如下問題，相關技術中數據處理流程的可擴展性低，當業務需要添加新的子任務時必須要修改現有邏輯，并且增加了數據庫的讀寫壓力，數據處理過程對消息隊列有較強依賴的關系，如果消息隊列宕機或消息隊列積壓，整個業務處理將受到影響。

發明內容

有鑒于此，本公開提供了一種優化的數據處理方法、數據處理裝置、數據處理系統和計算機可讀存儲介質。

本公開的一個方面提供了一種數據處理方法，包括：從至少一個父任務數據中獲取目標父任務數據，其中，所述至少一個父任務數據中的每個父任務數據均包括與配置數據相匹配的父任務類型標識，根據所述目標父任務的目標父任務類型標識，確定與所述目標父任務類型標識相匹配的目標配置數據，其中，所述目標配置數據表征針對所述目標父任務數據的處理方式，根據所述目標配置數據，處理所述目標父任務數據得到多個子任務數據，將所述多個子任務數據發送至多個子服務器中進行處理。

根據本公開實施例，上述方法還包括：在處理所述目標父任務數據得到多個子任務數據之后，將所述目標父任務類型標識和子任務類型標識列表作為校驗信息存儲于校驗緩存單元，其中，所述子任務類型標識列表包括所述多個子任務數據中每個子任務數據的子任務類型標識。在經由處理所述目標父任務數據得到多個子任務數據的預設時間段后，通過校驗服務器從所述校驗緩存單元中獲取所述校驗信息，并通過所述校驗服務器刪除存儲于所述校驗緩存單元的所述校驗信息。通過所述校驗服務器根據所述校驗信息校驗所述多個子任務數據的處理狀態。

根據本公開實施例，處理所述目標父任務數據得到的多個子任務數據分別存儲于多個緩存單元中，所述方法還包括以下至少一項：通過所述多個子服務器處理所述多個子任務數據，并將處理成功的子任務數據存儲至執行成功存儲單元中，并刪除存儲于緩存單元中處理成功的子任務數據，以及通過所述多個子服務器處理所述多個子任務數據，并將處理失敗的子任務數據存儲至失敗待重試存儲單元中，并刪除存儲于緩存單元中處理失敗的子任務數據。

根據本公開實施例，上述根據所述校驗信息校驗所述多個子任務數據的處理狀態包括：基于所述校驗信息中的目標父任務類型標識，確定所述目標配置數據中關于目標父任務數據的預定重試次數，其中，所述多個子任務數據中每個子任務數據均能夠被按照所述預定重試次數重新處理。確定存儲于所述失敗待重試存儲單元中的子任務數據的已重試次數。根據所述預定重試次數和所述已重試次數，確定是否重新處理存儲于所述失敗待重試存儲單元中的子任務數據。