[發明專利]一種業務數據處理方法及裝置

有效

• 申請號: 201911031520.8
• 申請日: 2019-10-28
• 公開（公告）號: CN110765148B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 郭婧超
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06Q40/02
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種業務數據處理方法，所述方法包括：

離線計算平臺從第一中間件獲取多條解析結果，所述多條解析結果為所述第一中間件對數據庫的業務數據變更日志進行解析所產生的；

對所述多條解析結果進行離線批處理，得到計算結果第一集合；

獲取實時計算平臺對從第二中間件獲取的至少一條解析結果分別進行在線計算產生的目標表；所述至少一條解析結果屬于第二中間件對所述數據庫的業務數據變更日志進行解析所產生的解析結果；

對比所述第一集合和所述目標表；

當所述第一集合中的計算結果和所述目標表中的計算結果不一致時，基于所述第一集合更新所述目標表；其中，

當所述第一集合比所述目標表多出至少一條計算結果時，將所述至少一條計算結果寫入所述目標表，以更新所述目標表；或者，

所述第一集合包括對應于第一變更日志的第一計算結果，所述目標表包括對應于所述第一變更日志的第二計算結果；當所述第一計算結果和所述第二計算結果不一致時，基于所述第一計算結果修正所述第二計算結果，以更新所述目標表。

2.根據權利要求1所述的方法，其中，業務數據為銀存數據。

3.根據權利要求1所述的方法，其中，所述第一中間件為canal、databus、kettle、otter中的任一種；

所述第二中間件為drc；

所述離線計算平臺和所述第一中間件之間的鏈路，與所述實時計算平臺和所述第二中間件之間的鏈路不同。

4.根據權利要求1所述的方法，其中，所述多條解析結果為所述第一中間件對所述數據庫在預設周期內的變更日志進行解析的結果；

所述至少一條解析結果屬于第二中間件對所述數據庫在所述預設周期內的變更日志進行解析所產生的解析結果。

5.根據權利要求1所述的方法，其中，所述多條解析結果為所述第一中間件對所述數據庫所有的變更日志進行解析的結果；

所述至少一條解析結果屬于第二中間件對所述數據庫在所述實時計算平臺上線之后產生的變更日志進行解析所產生的解析結果。

6.根據權利要求1所述的方法，其中，所述方法還包括：所述當所述第一集合和所述目標表不一致時，發起警報。

7.一種業務數據處理裝置，所述裝置包括：

第一獲取單元，配置為離線計算平臺從第一中間件獲取多條解析結果，所述多條解析結果為所述第一中間件對數據庫的業務數據變更日志進行解析所產生的；

批處理單元，配置為對所述多條解析結果進行離線批處理，得到計算結果第一集合；

第二獲取單元，配置為獲取實時計算平臺對從第二中間件獲取的至少一條解析結果分別進行在線計算產生的目標表；所述至少一條解析結果屬于第二中間件對所述數據庫的業務數據變更日志進行解析所產生的解析結果；

對比單元，配置為對比所述第一集合和所述目標表；

更新單元，配置為當所述第一集合中的計算結果和所述目標表中的計算結果不一致時，基于所述第一集合更新所述目標表；

其中，所述更新單元配置為當所述第一集合比所述目標表多出至少一條計算結果時，將所述至少一條計算結果寫入所述目標表，以更新所述目標表；或者，

所述第一集合包括對應于第一變更日志的第一計算結果，所述目標表包括對應于所述第一變更日志的第二計算結果；所述更新單元配置為所述第一計算結果和所述第二計算結果不一致時，基于所述第一計算結果修正所述第二計算結果，以更新所述目標表。

8.根據權利要求7所述的裝置，其中，業務數據為銀存數據。

9.根據權利要求7所述的裝置，其中，所述第一中間件為canal、databus、kettle、otter中的任一種；

所述第二中間件為drc；

所述離線計算平臺和所述第一中間件之間的鏈路，與所述實時計算平臺和所述第二中間件之間的鏈路不同。