[發明專利]數據處理方法、裝置及計算機可讀存儲介質

有效

• 申請號: 201810544083.9
• 申請日: 2018-05-30
• 公開（公告）號: CN108846051B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 鄭秋燕
• 申請（專利權）人: 重慶新眾量科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;G06F16/2453
• 代理公司: 杭州知管通專利代理事務所(普通合伙) 33288
• 代理人: 尉敏

本發明公開了一種數據處理方法，包括：在接收到客戶端的數據計算命令時，第一節點利用第一執行模塊基于所述數據計算命令和第一腳本模塊中的腳本指令進行數據計算，獲得第一計算結果和第一運算key值；第一節點利用第一通信代理模塊將所述第一運算key值發送至對應的第二節點；第二節點利用第二執行模塊基于接收到的key值和第二腳本模塊中的腳本指令進行數據計算，并將獲得的第二計算結果發送至對應的第一節點；第一節點基于所述第一腳本模塊中的腳本指令、第一計算結果和各個第二節點的第二計算結果進行集合運算，獲得匯聚計算結果。本發明還公開一種裝置以及計算機可讀存儲介質，本發明可以實現不同節點計算結果的集合運算。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種數據處理方法、裝置及計 算機可讀存儲介質。

背景技術

redis是一個key-value鍵值存儲系統。和Memcached內存緩存系統類似， 它支持存儲的value數值類型相對更多，與memcached一樣，為了保證效率， 數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁盤或 者把修改操作寫入追加的記錄文件，并且在此基礎上實現了master-slave(主從) 同步。

目前各數據服務項目都實現了redis消息處理的功能，但是對于某些特定 業務功能，比如，PUSH或者其他需要在緩存中進行快速交并差計算功能的實 現并不是很好，主要原因為redis集群的實現方式決定的，redis官方提供的 sentinal哨兵模式的集群模式為現在redis通用的集群方式，即cluster redis方 式。Cluster redis方式為官方支持的集群方案，擴容時，集群內部的slot可 以自動重新分組(16000個slot均分在不同的集群節點上)。但，Cluster redis方 式基本不支持集合運算，無法滿足特定業務的快速交并差等功能的計算要求。

發明內容

本發明的主要目的在于提供一種數據處理方法，裝置及計算機可讀存儲 介質,旨在解決現有技術Cluster redis的集群方式基本不支持集合運算，無法滿 足特定業務的快速交并差等功能的計算要求的問題。

為實現上述目的，本發明提供一種數據處理方法，所述數據處理方法應 用于鍵值存儲集群，所述鍵值存儲集群至少包括第一節點和第二節點兩個鍵 值存儲系統節點，所述鍵值存儲系統節點至少包括執行模塊、通信代理模塊 以及腳本模塊，所述數據處理方法包括：

在接收到客戶端的數據計算命令時，第一節點利用第一執行模塊基于所 述數據計算命令和第一腳本模塊中的腳本指令進行數據計算，獲得第一計算 結果和第一運算key值；

所述第一節點利用第一通信代理模塊將所述第一運算key值發送至對應 的第二節點；

所述第二節點利用第二執行模塊基于接收到的key值和第二腳本模塊中 的腳本指令進行數據計算，并將獲得的第二計算結果發送至對應的第一節點；

所述第一節點基于所述第一腳本模塊中的腳本指令、第一計算結果和各 個第二節點的第二計算結果進行集合運算，獲得匯聚計算結果。

可選地，所述鍵值存儲系統節點為redis節點，對應執行模塊為redis模塊， 通信代理模塊為nginx模塊，腳本模塊為lua模塊。

可選地，所述第一節點利用第一通信代理模塊將所述第一運算key值發 送至對應的第二節點的步驟包括：

所述第一節點按照一致性hash利用第一通信代理模塊將所述第一運算 key值發送至對應的各個第二節點。

可選地，所述在接收到客戶端的數據計算命令時，第一節點利用第一執 行模塊基于所述數據計算命令和第一腳本模塊中的腳本指令進行數據計算， 獲得第一計算結果和第一運算key值的步驟之前包括：

所述客戶端利用pipeline線性通信模型打包預設數量的數據計算命令，并 將打包的數據計算命令發送至所述第一節點。