[發明專利]一種數據處理方法、裝置、系統、電子設備及存儲介質

在審

• 申請號: 202210129518.X
• 申請日: 2022-02-11
• 公開（公告）號: CN114564318A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 任鴻翔;朱超
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/52;G06F16/23;G06F16/2455
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本公開提供了一種數據處理方法、裝置、系統、電子設備及存儲介質，涉及數據處理領域，尤其涉及大數據技術領域。具體實現方案為：接收RCMC接收模塊發送的資源內容數據，資源內容數據的NID與RCMC處理模塊具有映射關系；為接收到的資源內容數據的NID構造互斥鎖，基于互斥鎖將攜帶相同NID的資源內容數據依次寫入數據庫；每完成對一條資源內容數據的寫入，將該資源內容數據添加至本地隊列中；基于本地隊列中每條資源內容數據的NID的互斥鎖，將本地隊列中的資源內容數據推送至本地隊列對應的第一消息中間件，以使得緩存服務從第一消息中間件中獲取并緩存資源內容數據。可以避免緩存服務緩存錯誤版本的資源內容數據。

技術領域

本公開涉及數據處理技術領域，尤其涉及大數據技術領域。

背景技術

在分布式緩存系統中，當分布式緩存系統中的接收模塊接收到更新后的資源內容數據時，可以將更新后的資源內容數據寫入一個消息中間件。寫入模塊可以從該消息中間件中獲取更新后的資源內容數據，將本次獲取到的資源內容數據寫入數據庫，并將獲取到的資源內容數據寫入另一個消息中間件，以供緩存層獲取更新后的資源內容數據。

發明內容

本公開提供了一種數據處理方法、裝置、系統、電子設備及存儲介質。

根據本公開的一方面，提供了一種數據處理方法，所述方法應用于資源內容管理中心RCMC處理模塊，所述方法包括：

接收RCMC接收模塊發送的資源內容數據，所述資源內容數據攜帶消息標識NID，所述資源內容數據的NID與所述RCMC處理模塊具有映射關系；

為接收到的資源內容數據的NID構造互斥鎖，基于互斥鎖將攜帶相同NID的資源內容數據依次寫入數據庫；

每完成對一條資源內容數據的寫入，將該資源內容數據添加至本地隊列中；

基于所述本地隊列中每條資源內容數據的NID的互斥鎖，將所述本地隊列中的資源內容數據推送至所述本地隊列對應的第一消息中間件，以使得緩存服務從所述第一消息中間件中獲取并緩存資源內容數據。

根據本公開的第二方面，提供了一種數據處理裝置，所述裝置應用于資源內容管理中心RCMC處理模塊，所述裝置包括：

接收單元，用于接收RCMC接收模塊發送的資源內容數據，所述資源內容數據攜帶消息標識NID，所述資源內容數據的NID與所述RCMC處理模塊具有映射關系；

寫入單元，用于為接收到的資源內容數據的NID構造互斥鎖，基于互斥鎖將攜帶相同NID的資源內容數據依次寫入數據庫；

添加單元，用于每完成對一條資源內容數據的寫入，將該資源內容數據添加至本地隊列中；

推送單元，用于基于所述本地隊列中每條資源內容數據的NID的互斥鎖，將所述本地隊列中的資源內容數據推送至所述本地隊列對應的第一消息中間件，以使得緩存服務從所述第一消息中間件中獲取并緩存資源內容數據。

根據本公開的第三方面，提供了一種數據處理系統，包括：多個RCMC接收模塊、多個RCMC處理模塊、數據庫、第一消息中間件和緩存服務；

每個RCMC接收模塊，用于向與資源內容數據的NID具有映射關系的RCMC處理模塊發送資源內容數據；

每個RCMC處理模塊，用于執行上述第一方面所述的方法步驟；

所述緩存服務，用于從所述第一消息中間件中獲取并緩存資源內容數據。

根據本公開的第四方面，提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，