[發明專利]數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010601551.9
• 申請日: 2020-06-29
• 公開（公告）號: CN111784318A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 孫澤輝
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06Q20/08
• 分類號: G06Q20/08;G06Q40/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;臧建明

1.一種數據處理方法，其特征在于，包括：

接收對賬請求，所述對賬請求中包括對賬任務；

通過主節點將所述對賬任務劃分為多個子對賬任務，并將各個所述子對賬任務通過消息隊列發布至子節點中進行處理，以得到各個所述子對賬任務的處理數據，其中，所述主節點對應多個所述子節點；

各個所述子節點將所處理的所述子對賬任務對應的處理數據發送至所述主節點，以通過所述主節點匯總并存儲所述處理數據。

2.根據權利要求1所述的方法，其特征在于，在所述將各個所述子對賬任務通過消息隊列發布至子節點之后，包括：

每個子節點對接收到的子對賬任務進行任務拆分，并對任務拆分后的子對賬任務通過多線程處理，生成所述子對賬任務的差異數據，并記錄所述子對賬任務的任務狀態為已處理狀態，直到各個所述子對賬任務的狀態均為已處理狀態，得到各個所述子對賬任務的處理數據。

3.根據權利要求1所述的方法，其特征在于，所述對賬任務中包括多組待對比數據，所述通過主節點將所述對賬任務劃分為多個子對賬任務，包括：

依照所述多組待對比數據的主鍵順序，依次將所述多組待對比數據中預設數量的待對比數據劃分為一個子對賬任務，獲取多個子對賬任務。

4.根據權利要求3所述的方法，其特征在于，在所述通過所述主節點將所述對賬任務劃分為多個子對賬任務之后，還包括：

將每個子對賬任務中的部分待對比數據與其他子對賬任務中的待對比數據進行隨機交換，得到多個交換后的子對賬任務；

所述將各個所述子對賬任務通過消息隊列發布至子節點中進行處理，包括：

將各個所述交換后的子對賬任務通過消息隊列發布至子節點中進行處理。

5.根據權利要求1-4任一項所述的方法，其特征在于，在所述接收對賬請求之前，還包括：

獲取所述對賬任務的數據源信息，所述數據源信息包括第一數據源的信息和第二數據源的信息，所述第一數據源為基準數據源，所述第二數據源為待對比數據源；

根據所述第一數據源的信息和所述第二數據源的信息，配置所述對賬任務。

6.根據權利要求5所述的方法，其特征在于，所述第一數據源的信息包括所述第一數據源的數據庫地址，所述第二數據源的信息包括所述第二數據源的數據庫地址，所述根據所述第一數據源的信息和所述第二數據源的信息，配置所述對賬任務，包括：

通過所述第一數據源的數據庫地址讀取第一數據表，通過所述第二數據源的數據庫地址讀取第二數據表；

配置所述第一數據表和所述第二數據表中的關聯字段和對比字段，以生成所述對賬任務。

7.根據權利要求5所述的方法，其特征在于，所述對賬任務還包括對比方式，所述對比方式包括單向對比或雙向對比，在所述通過所述主節點匯總并存儲所述處理數據之前，還包括：

判斷所述對賬任務的所述對比方式是否為所述雙向對比；

若所述對比方式為所述雙向對比，則將所述第一數據源作為待對比數據源，將所述第二數據源作為基準數據源，配置并執行反向對賬任務，生成反向處理數據，所述反向對賬任務是根據所述第一數據源的信息和所述第二數據源的信息配置的；

所述通過所述主節點匯總并存儲所述處理數據，包括：

通過所述主節點匯總并存儲所述處理數據和所述反向處理數據。

8.根據權利要求1-4或6-7任一項所述的方法，其特征在于，還包括：

接收處理數據獲取請求；

向用戶的終端設備發送所述對賬任務的處理數據。

9.根據權利要求8所述的方法，其特征在于，還包括：

向用戶的終端設備推送報警消息，所述報警消息用于指示所述對賬任務已處理完成，和/或，將所述處理數據中的異常數據攜帶在所述報警消息中，用于指示用戶處理所述異常數據。