[發明專利]業務數據的處理方法、裝置及設備

在審

• 申請號: 202010522229.7
• 申請日: 2020-06-10
• 公開（公告）號: CN113760870A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 劉楊
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/23;G06F9/54
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 李哲;劉芳

本發明實施例提供一種業務數據的處理方法、裝置及設備，該方法包括：獲取待處理的第一業務數據，確定第一業務數據中的業務關鍵字，并根據該業務關鍵字確定第一業務數據是否已被統計，在確定第一業務數據未被統計時，對第一業務數據進行統計處理，得到統計結果，并將統計結果存儲至第一數據庫中。在上述數據處理過程中，只有在確定第一業務數據未被統計時，才對第一業務數據進行統計處理，實現了在業務層面上的數據冪等性，避免了對重復的業務數據進行重復統計處理，保證了端到端數據的一致性。

技術領域

本發明實施例涉及大數據技術領域，尤其涉及一種業務數據的處理方法、裝置及設備。

背景技術

在一些業務場景下，需要對大數據的實時累計值進行統計并展示。以電商領域為例，電商平臺需要對訂單數量、訂單金額、商品銷量等數據進行實時統計，并對統計結果進行展示，以及時了解銷售情況。

現有技術中，業務數據由各業務系統產生，業務系統產生業務數據之后，業務數據需要在多個節點之間傳遞和處理，最終處理結果提交至數據庫中，供顯示大屏進行顯示。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：上述業務數據處理過程中，可能會存在端到端數據不一致的問題。例如，可能會對某些訂單進行重復統計，導致展示的訂單統計結果與業務系統實際產生的訂單情況并不一致。

發明內容

本發明實施例提供一種業務數據的處理方法、裝置及設備，能夠避免對重復的業務數據進行重復處理，從而保證端到端數據一致性。

第一方面，本發明實施例提供一種業務數據的處理方法，包括：

獲取待處理的第一業務數據；

確定所述第一業務數據中的業務關鍵字，并根據所述業務關鍵字確定所述第一業務數據是否已被統計；

在確定所述第一業務數據未被統計時，對所述第一業務數據進行統計處理，得到統計結果；

將所述統計結果存儲至第一數據庫中。

一種可能的實現方式中，根據所述業務關鍵字確定所述第一業務數據是否已被統計，包括：

判斷第二數據庫中是否存在所述業務關鍵字，所述第二數據庫用于存儲已被統計的業務數據中的業務關鍵字；

若所述第二數據庫中存在所述業務關鍵字，則確定所述第一業務數據已被統計；

若所述第二數據庫中不存在所述業務關鍵字，則確定所述第一業務數據未被統計。

一種可能的實現方式中，確定所述第一業務數據中的業務關鍵字，包括：

確定所述第一業務數據對應的業務類型；

根據所述業務類型以及預設對應關系，確定所述第一業務數據中的業務關鍵字，其中，所述預設對應關系用于指示不同業務類型與不同業務關鍵字之間的對應關系。

一種可能的實現方式中，根據所述業務關鍵字確定所述第一業務數據是否已被統計之前，還包括：

根據所述業務類型，獲取所述業務類型對應的處理方式，所述處理方式包括解析方式和/或校驗方式；

根據所述處理方式，對所述第一業務數據進行解析處理和/或校驗處理。

一種可能的實現方式中，所述方法應用于采用分布式流處理框架Flink的服務器，將所述統計結果存儲至第一數據庫中，包括：

通過所述Flink將所述統計結果存儲至所述第一數據庫中，并根據所述統計結果生成檢查點信息，所述檢查點信息用于在所述Flink故障時根據所述檢查點信息恢復數據。