[發明專利]防重批量處理數據的方法、裝置、系統及存儲介質

在審

• 申請號: 202110205741.3
• 申請日: 2021-02-24
• 公開（公告）號: CN112988348A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 范世曄;劉杰;李澤
• 申請（專利權）人: 中國聯合網絡通信集團有限公司;聯通支付有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/46;G06F16/22;G06F16/23
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊俊輝;臧建明

1.一種防重批量處理數據的方法，其特征在于，應用于調度中心系統中的調度節點中，所述方法包括：

根據獲取到的調度計劃，獲取分布式鎖，所述調度計劃包括處理任務和處理時間，所述分布式鎖用于鎖定所述處理任務只在所述調度節點執行；

根據所述處理任務向批處理受理單元發送第一調用指令，所述第一調用指令中包括所述調度計劃。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

接收所述批處理受理單元返回的執行結果；

或者，

在發送完所述第一調用指令后預設時長未接收到執行結果，則再次向所述批處理受理單元重新發送所述第一調用指令。

3.根據權利要求1或2所述的方法，其特征在于，所述根據獲取到的調度計劃，獲取分布式鎖，包括：

根據所述調度計劃，從中間件或數據庫服務器獲取所述分布式鎖；其中所述中間件包括Redis中間件或ZooKeeper中間件。

4.一種防重批量處理數據的方法，其特征在于，應用于批處理受理單元，所述方法包括：

接收調度中心系統中的調度節點發送的第一調用指令，所述第一調用指令包括調度計劃，所述調度計劃包括處理任務和處理時間；

根據所述第一調用指令，生成用于標記數據的第一線程號；

從數據庫服務器中獲取待處理的業務數據，并將所述第一線程號更新至所述數據庫服務器中所述業務數據表中的所述業務數據對應的線程號字段；

根據所述處理時間和所述處理任務，對所述業務數據進行處理。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

在對所述業務數據處理完成后，將處理結果返回所述調度中心系統中的調度節點。

6.根據權利要求4所述的方法，其特征在于，所述方法還包括：

接收所述調度中心系統的所述調度節點發送的第二調用指令，所述第二調用指令包括調度計劃，所述調度計劃包括處理任務和處理時間；

根據所述第二調用指令，生成用于標記數據的第二線程號；

從數據庫服務器中獲取線程號字段為空的待處理的新的業務數據，并將所述第二線程號更新至所述數據庫服務器中所述業務數據表中所述新的業務數據對應的線程號字段；

根據所述處理時間和所述處理任務對所述新的業務數據進行處理。

7.一種防重批量處理數據的裝置，其特征在于，包括：獲取模塊及發送模塊；

所述獲取模塊，用于根據獲取到的調度計劃，獲取分布式鎖，所述調度計劃包括處理任務和處理時間，所述分布式鎖用于鎖定所述處理任務只在所述調度節點執行；

所述發送模塊，用于根據所述處理任務向批處理受理單元發送第一調用指令，所述第一調用指令中包括所述調度計劃。

8.一種防重批量處理數據的裝置，其特征在于，包括：接收模塊、生成模塊及處理模塊；

所述接收模塊，用于接收調度中心系統中的調度節點發送的第一調用指令，所述第一調用指令包括調度計劃，所述調度計劃包括處理任務和處理時間；

所述生成模塊，用于根據所述第一調用指令，生成用于標記數據的第一線程號；

所述處理模塊，用于從數據庫服務器中獲取待處理的業務數據，并將所述第一線程號更新至所述數據庫服務器中所述業務數據表中的所述業務數據對應的線程號字段；

所述處理模塊，還用于根據所述處理時間和所述處理任務對所述業務數據進行處理。

9.一種防重批量處理數據的系統，其特征在于，包括：

調度中心系統，數據庫服務器以及批處理受理單元；

所述調度中心系統中包括控制模塊以及多個調度節點，每個調度節點用于執行權利要求1至3任一項所述的防重批量處理數據的方法；

所述數據庫服務器用于存儲業務數據表；

所述批處理受理單元用于執行權利要求4至6任一項所述的防重批量處理數據的方法。