[發明專利]一種數據處理系統、方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211466622.4
• 申請日: 2022-11-22
• 公開（公告）號: CN115756892A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 侯鎖成
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孟維娜;高鶯然

本公開提供了一種數據處理系統、方法、裝置、電子設備及存儲介質，涉及數據處理領域，尤其涉及互聯網技術領域。數據處理系統，包括：回灌服務和異步進行數據處理的多個處理服務；各處理服務，用于對獲得的服務輸入進行處理，若處理成功，在自身狀態列表中記錄數據狀態，并在處理服務不為尾處理服務的情況下將處理結果寫入下游處理服務的任務隊列，首處理服務的服務輸入為待處理數據，其它處理服務的服務輸入為自身任務隊列中的數據；回灌服務，用于若根據各狀態列表中的數據狀態確定待處理數據存在處理異常，控制從確定的回灌處理服務開始重新針對待處理數據進行處理。應用本公開實施例提供的方案可以提高數據處理的整體效率。

技術領域

本公開涉及數據處理技術領域，尤其涉及互聯網技術領域。

背景技術

在對數據進行處理時，可能需要經歷多個數據處理階段，為保證成功完成對數據的處理，上述數據需要經過各個數據處理階段，也就是，保證數據處理過程中各個數據處理階段的數據一致性。

鑒于此，當前每一數據處理階段的處理過程被綁定為原子操作，這樣能夠有效保證數據在一個數據處理階段完成處理后，才進去下一數據處理階段進行數據處理，且所有數據處理階段均完成針對該數據的處理后，才開始對下一數據進行處理。

發明內容

本公開提供了一種數據處理系統、方法、裝置、電子設備及存儲介質。

根據本公開的一方面，提供了一種數據處理系統，包括：回灌服務和多個處理服務，各處理服務基于異步方式進行數據處理；其中，

各處理服務，用于獲得服務輸入，對所述服務輸入進行處理，若處理成功，在自身狀態列表中記錄數據狀態，并在處理服務不為尾處理服務的情況下將處理結果寫入下游處理服務的任務隊列，其中，針對首處理服務，所述服務輸入為待處理數據，針對其它處理服務，所述服務輸入為處理服務自身的任務隊列中的數據；

所述回灌服務，用于若根據各個處理服務的狀態列表中記錄的數據狀態確定所述待處理數據存在處理異常，確定回灌處理服務，控制從所述回灌處理服務開始重新針對所述待處理數據進行處理。

根據本公開的另一方面，提供了一種數據處理方法，應用于數據處理系統中的處理服務，所述數據處理系統包括回灌服務和多個處理服務，各處理服務基于異步方式進行數據處理，所述方法包括：

若所述處理服務為首處理服務，獲得待處理數據作為服務輸入為；若所述處理服務為其它處理服務，獲得所述處理服務自身的任務隊列中的數據作為服務輸入；

對所述服務輸入進行處理；

若處理成功，在自身狀態列表中記錄數據狀態，并在所述處理服務不為尾處理服務的情況下，將處理結果寫入下游處理服務的任務隊列，以使得所述回灌服務根據各個處理服務的狀態列表中記錄的數據狀態進行數據回灌。

根據本公開的再一方面，提供了一種數據處理方法，應用于數據處理系統中的回灌服務，所述數據處理系統包括回灌服務和多個處理服務，各處理服務基于異步方式進行數據處理，所述方法包括：

監控各個處理服務的狀態列表中記錄的數據狀態，其中，所述數據狀態為處理服務對服務輸入處理成功后記錄至自身的狀態列表的狀態；

若監控結果表征所述待處理數據存在處理異常，確定回灌處理服務；

控制從所述回灌處理服務開始重新針對所述待處理數據進行處理。

根據本公開的又一方面，提供了一種數據處理裝置，應用于數據處理系統中的處理服務，所述數據處理系統包括回灌服務和多個處理服務，各處理服務基于異步方式進行數據處理，所述裝置包括：

服務輸入獲得模塊，用于若所述處理服務為首處理服務，獲得待處理數據作為服務輸入為；若所述處理服務為其它處理服務，獲得所述處理服務自身的任務隊列中的數據作為服務輸入；