[發明專利]一種數據處理方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110682370.8
• 申請日: 2021-06-18
• 公開（公告）號: CN113254466B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 歐陽晶;程楠;袁易之;司超
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27;G06F9/54;G06F21/78
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 朱佳

1.一種數據處理方法，其特征在于，該方法包括：

通過預設讀寫模塊為指定業務方接入不同類型的對象，將所述指定業務方相關的各個對象對應的采樣數據寫入第一數據庫，其中，所述預設讀寫模塊指用于提供統一讀寫服務的模塊；

通過事件收集模塊從所述第一數據庫中批量獲取采樣數據，將獲得的采樣數據寫入消息隊列，并通過所述消息隊列向事件分發模塊推送基于所述采樣數據生成的數據變更消息；

通過所述事件分發模塊獲取預設的事件映射配置信息，基于所述事件映射配置信息，確定所述數據變更消息中的變更字段對應的業務事件類型后，將所述數據變更消息映射為所述業務事件類型對應的業務事件，其中，所述事件映射配置信息用于表征字段與業務事件類型之間的映射關系；

通過所述事件分發模塊獲取預設的訂閱映射配置信息，基于所述訂閱映射配置信息，確定各個業務事件對應的消息獲取方，其中，所述訂閱映射配置信息用于表征業務事件與消息獲取方之間的映射關系；

根據各個業務事件對應的消息獲取方，將所述各個業務事件寫入到事件池中對應的事件數據庫，所述業務事件為用于表征所述采樣數據中字段發生變更的事件，不同消息獲取方在所述事件池中對應不同的事件數據庫；

接收到消息獲取方發送的事件獲取請求時，基于所述事件獲取請求中的索引信息，從所述事件池中獲取與所述索引信息對應的業務事件并發送至所述消息獲取方。

2.如權利要求1所述的方法，其特征在于，所述數據變更消息包含多個對應同一業務事件類型的變更字段；所述將所述數據變更消息映射為所述業務事件類型對應的業務事件，包括：

分別將所述數據變更消息中的各個變更字段映射為所述業務事件類型對應的業務事件；

在所述將所述數據變更消息映射為所述業務事件類型對應的業務事件之后，還包括：

將基于所述多個對應同一業務事件類型的變更字段映射得到的多個業務事件，進行事件合并。

3.如權利要求1所述的方法，其特征在于，所述將獲得的采樣數據寫入消息隊列，包括：

根據所述采樣數據對應的模塊標識對所述采樣數據進行分區處理，其中，具有相同模塊標識的采樣數據劃分為同一分區，所述采樣數據對應的模塊標識是通過對所述采樣數據的對象標識進行取模得到的；

將分區后的采樣數據并行寫入所述消息隊列。

4.如權利要求1所述的方法，其特征在于，所述將所述指定業務方相關的各個對象對應的采樣數據寫入第一數據庫，包括：

獲取所述指定業務方在預置時間段內相關的各個對象對應的采樣數據；

通過事物寫操作將所述采樣數據寫入所述第一數據庫。

5.如權利要求1所述的方法，其特征在于，在所述通過事件收集模塊從第一數據庫中批量獲取采樣數據之前，還包括：

獲取所述指定業務方在預置時間段內相關的各個對象對應的基礎數據，并通過事物寫的方式將所述基礎數據寫入第二數據庫；以及

獲取所述指定業務方在預置時間段內相關的各個對象對應的特征數據，并將所述特征數據寫入文檔型的第三數據庫。

6.如權利要求5所述的方法，其特征在于，所述方法還包括：

基于所述特征數據對各個對象進行等級劃分，并將劃分結果發送給推薦系統，以使所述推薦系統針對不同等級對象分發不同內容。

7.如權利要求1所述的方法，其特征在于，在所述通過預設讀寫模塊為指定業務方接入不同類型的對象之后，所述通過事件收集模塊從第一數據庫中批量獲取采樣數據之前，還包括：

對所述各個對象統一進行權限檢查和頻率控制。

8.如權利要求1~7任一項所述的方法，其特征在于，所述索引信息為事件獲取偏移量；所述基于所述事件獲取請求中的索引信息，從所述事件池中獲取與所述索引信息對應的業務事件并發送至所述消息獲取方，包括：

根據所述事件獲取請求中的事件獲取偏移量，確定待獲取的業務事件的地址信息；

根據所述地址信息從所述事件池中獲取對應的業務事件，并發送至所述消息獲取方。