[發明專利]一種數據處理方法、裝置、系統、電子設備及存儲介質

在審

• 申請號: 202210129518.X
• 申請日: 2022-02-11
• 公開（公告）號: CN114564318A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 任鴻翔;朱超
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/52;G06F16/23;G06F16/2455
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種數據處理方法，所述方法應用于資源內容管理中心RCMC處理模塊，所述方法包括：

接收RCMC接收模塊發送的資源內容數據，所述資源內容數據攜帶消息標識NID，所述資源內容數據的NID與所述RCMC處理模塊具有映射關系；

為接收到的資源內容數據的NID構造互斥鎖，基于互斥鎖將攜帶相同NID的資源內容數據依次寫入數據庫；

每完成對一條資源內容數據的寫入，將該資源內容數據添加至本地隊列中；

基于所述本地隊列中每條資源內容數據的NID的互斥鎖，將所述本地隊列中的資源內容數據推送至所述本地隊列對應的第一消息中間件，以使得緩存服務從所述第一消息中間件中獲取并緩存資源內容數據。

2.根據權利要求1所述的方法，其中，基于所述本地隊列中每條資源內容數據的NID的互斥鎖，將所述本地隊列中的資源內容數據推送至所述本地隊列對應的第一消息中間件，包括：

通過預設數量個線程獲取所述本地隊列預設窗口中的每條資源內容數據，其中，所述預設窗口中包括所述本地隊列中前預設數量條資源內容數據；

通過每個線程基于獲取到的資源內容數據的NID的互斥鎖，將獲取到的資源內容數據推送至所述本地隊列對應的第一消息中間件。

3.根據權利要求1或2所述的方法，其中，每完成對一條資源內容數據的寫入，將該資源內容數據添加至本地隊列中，包括：

每完成對一條資源內容數據的寫入，在該資源內容數據需要被寫入緩存層的情況下，將該資源內容數據添加至與該資源內容數據所需被推送的第一消息中間件對應的本地隊列中，其中，多個第一消息中間件與所述RCMC處理模塊中的多個本地隊列具有一一對應的關系。

4.根據權利要求1所述的方法，其中，所述RCMC處理模塊接收到的資源內容數據為：所述RCMC接收模塊對獲取到的資源內容數據的NID進行一致性哈希運算得到哈希值后，所確定出的與所述RCMC處理模塊具有預設映射關系的哈希值對應的資源內容數據。

5.根據權利要求4所述的方法，其中，所述RCMC接收模塊獲取到的資源內容數據來自于第二消息中間件，所述第二消息中間件用于緩存更新后的資源內容數據。

6.一種數據處理裝置，所述裝置應用于資源內容管理中心RCMC處理模塊，所述裝置包括：

接收單元，用于接收RCMC接收模塊發送的資源內容數據，所述資源內容數據攜帶消息標識NID，所述資源內容數據的NID與所述RCMC處理模塊具有映射關系；

寫入單元，用于為接收到的資源內容數據的NID構造互斥鎖，基于互斥鎖將攜帶相同NID的資源內容數據依次寫入數據庫；

添加單元，用于每完成對一條資源內容數據的寫入，將該資源內容數據添加至本地隊列中；

推送單元，用于基于所述本地隊列中每條資源內容數據的NID的互斥鎖，將所述本地隊列中的資源內容數據推送至所述本地隊列對應的第一消息中間件，以使得緩存服務從所述第一消息中間件中獲取并緩存資源內容數據。

7.根據權利要求6所述的裝置，其中，所述推送單元，具體用于：

通過預設數量個線程獲取所述本地隊列預設窗口中的每條資源內容數據，其中，所述預設窗口中包括所述本地隊列中前預設數量條資源內容數據；

通過每個線程基于獲取到的資源內容數據的NID的互斥鎖，將獲取到的資源內容數據推送至所述本地隊列對應的第一消息中間件。

8.根據權利要求6或7所述的裝置，其中，所述添加單元，具體用于：

每完成對一條資源內容數據的寫入，在該資源內容數據需要被寫入緩存層的情況下，將該資源內容數據添加至與該資源內容數據所需被推送的第一消息中間件對應的本地隊列中，其中，多個第一消息中間件與所述RCMC處理模塊中的多個本地隊列具有一一對應的關系。