[發明專利]一種數據處理方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110682370.8
• 申請日: 2021-06-18
• 公開（公告）號: CN113254466B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 歐陽晶;程楠;袁易之;司超
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27;G06F9/54;G06F21/78
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 朱佳

本申請涉及計算機技術領域，尤其涉及一種數據處理方法、裝置、電子設備和存儲介質，用以提高數據存儲的安全性和數據處理效率。其中，方法包括：通過事件收集模塊從第一數據庫中批量獲取采樣數據；將獲得的采樣數據寫入消息隊列，并通過消息隊列向事件分發模塊推送基于采樣數據生成的數據變更消息；通過事件分發模塊將數據變更消息映射為業務事件，并存儲至事件池中；接收到消息獲取方發送的事件獲取請求時，基于事件獲取請求中的索引信息，從事件池中獲取與索引信息對應的業務事件并發送至消息獲取方。本申請解除業務模塊的耦合，引入事件中心機制，基于事件中心機制統一對象事件管理，提高了數據存儲的安全性和數據處理效率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據處理方法、裝置、電子設備和存儲介質。

背景技術

對象體系是作者在客戶端側內容產品平臺上的通行證，也是作者在內容產品平臺上獲取價值的媒介。

相關技術中，通過內容中心對象體系可以實現作者的對象數據的存儲和處理。在數據更新時，內容中心對象體系中的各個模塊之前需要相互同步，來通知各個業務方去做相應的更新調整。業務模塊耦合嚴重，業務大量定時任務全表掃描，效率低下。

發明內容

本申請實施例提供一種數據處理方法、裝置、電子設備和存儲介質，用以提高數據存儲的安全性和數據處理效率。

本申請實施例提供的一種數據處理方法，包括：

通過事件收集模塊從第一數據庫中批量獲取采樣數據，所述第一數據庫中存儲有與指定業務方相關的各個對象對應的采樣數據；

將獲得的采樣數據寫入消息隊列，并通過所述消息隊列向事件分發模塊推送基于所述采樣數據生成的數據變更消息；

通過所述事件分發模塊將所述數據變更消息映射為業務事件，并存儲至事件池中；

接收到消息獲取方發送的事件獲取請求時，基于所述事件獲取請求中的索引信息，從所述事件池中獲取與所述索引信息對應的業務事件并發送至所述消息獲取方。

本申請實施例提供的一種數據處理裝置，包括：

收集單元，用于通過事件收集模塊從第一數據庫中批量獲取采樣數據，所述第一數據庫中存儲有與指定業務方相關的各個對象對應的采樣數據；

消息單元，用于將獲得的采樣數據寫入消息隊列，并通過所述消息隊列向事件分發模塊推送基于所述采樣數據生成的數據變更消息；

映射單元，用于通過所述事件分發模塊將所述數據變更消息映射為業務事件，并存儲至事件池中；

訂閱單元，用于接收到消息獲取方發送的事件獲取請求時，基于所述事件獲取請求中的索引信息，從所述事件池中獲取與所述索引信息對應的業務事件并發送至所述消息獲取方。

可選的，所述消息單元具體用于：

根據所述采樣數據對應的模塊標識對所述采樣數據進行分區處理，其中，具有相同模塊標識的采樣數據劃分為同一分區，所述采樣數據對應的模塊標識是通過對所述采樣數據的對象標識進行取模得到的；

將分區后的采樣數據并行寫入所述消息隊列。

可選的，所述裝置還包括：

第一讀寫單元，用于在所述收集單元通過事件收集模塊從第一數據庫中批量獲取采樣數據之前，獲取所述指定業務方在預置時間段內相關的各個對象對應的采樣數據；

通過事物寫操作將所述采樣數據寫入所述第一數據庫。

可選的，所述裝置還包括：