[發明專利]防重批量處理數據的方法、裝置、系統及存儲介質

在審

• 申請號: 202110205741.3
• 申請日: 2021-02-24
• 公開（公告）號: CN112988348A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 范世曄;劉杰;李澤
• 申請（專利權）人: 中國聯合網絡通信集團有限公司;聯通支付有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/46;G06F16/22;G06F16/23
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊俊輝;臧建明

本申請提供一種防重批量處理數據的方法、裝置、系統及存儲介質，在防重批量處理數據的方法中，調度中心系統中的調度節點通過根據獲取到的調度計劃，獲取分布式鎖，調度計劃包括處理任務和處理時間，分布式鎖用于鎖定處理任務只在調度節點執行。之后根據處理任務向批處理受理單元發送第一調用指令，第一調用指令中包括調度計劃。本方法中，調度中心系統中的調度節點通過獲取分布式鎖，鎖定處理任務只在該調度節點執行，與現有技術相比，能夠確保業務數據只被處理一次，有效提高了業務數據處理的準確性。

技術領域

本申請涉及計算機技術領域，尤其涉及一種防重批量處理數據的方法、裝置、系統及存儲介質。

背景技術

在互聯網支付以及電子商務等領域中，為了提高數據處理的速度和效率，通常會對批量數據進行處理。舉例來說，如批量代發工資，批量發放電子優惠券，批量生成交易明細賬單等。

在現有技術中，對批量數據進行處理主要通過人工對處理受理單元配置批量業務受理能力，將具有批量業務受理能力的處理受理單元稱為批處理受理單元，之后在批處理受理單元對批量數據進行統一處理。

然而，如果存在多個批處理受理單元，在對批量數據進行處理過程中可能會使得多個批處理受理單元同時工作，導致數據被重復處理，準確度較低。

發明內容

本申請提供一種防重批量處理數據的方法、裝置、系統及存儲介質，以解決如果存在多個批處理受理單元，在對批量數據進行處理過程中可能會使得多個批處理受理單元同時工作，導致數據被重復處理，準確度較低的問題。

第一方面，本申請實施例提供一種防重批量處理數據的方法，應用于調度中心系統中的調度節點中，所述方法包括：

根據獲取到的調度計劃，獲取分布式鎖，所述調度計劃包括處理任務和處理時間，所述分布式鎖用于鎖定所述處理任務只在所述調度節點執行；

根據所述處理任務向批處理受理單元發送第一調用指令，所述第一調用指令中包括所述調度計劃。

在第一方面的一種可能設計中，所述方法還包括：

接收所述批處理受理單元返回的執行結果；

或者，

在發送完所述第一調用指令后預設時長未接收到執行結果，則再次向所述批處理受理單元重新發送所述第一調用指令。

在第一方面的另一種可能設計中，所述根據獲取到的調度計劃，獲取分布式鎖，包括：

根據所述調度計劃，從中間件或數據庫服務器獲取所述分布式鎖；其中所述中間件包括Redis中間件或ZooKeeper中間件。

第一方面，本申請實施例提供一種防重批量處理數據的方法，應用于批處理受理單元，所述方法包括：

接收調度中心系統中的調度節點發送的第一調用指令，所述第一調用指令包括調度計劃，所述調度計劃包括處理任務和處理時間；

根據所述第一調用指令，生成用于標記數據的第一線程號；

從數據庫服務器中獲取待處理的業務數據，并將所述第一線程號更新至所述數據庫服務器中所述業務數據表中的所述業務數據對應的線程號字段；

根據所述處理時間和所述處理任務對所述業務數據進行處理。

在第二方面的一種可能設計中，所述方法還包括：

在對所述業務數據處理完成后，將處理結果返回所述調度中心系統中的調度節點。

在第二方面的另一種可能設計中，所述方法還包括：

接收所述調度中心系統的所述調度節點發送的第二調用指令，所述第二調用指令包括調度計劃，所述調度計劃包括處理任務和處理時間；