[發明專利]一種基于消息隊列的Redis集群海量數據快速清理系統及方法

有效

• 申請號: 201710656352.6
• 申請日: 2017-08-03
• 公開（公告）號: CN107479829B
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 顧偉濤
• 申請（專利權）人: 杭州銘師堂教育科技發展有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L29/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜;邱啟旺

本發明公開了一種基于消息隊列的Redis集群海量數據快速清理系統及方法，該系統包括管理節點、Redis集群節點、消息隊列節點和臨時緩存節點；Redis集群節點：在不同的服務器上部署Redis cluster服務，至少部署三個Redis主庫，每個Redis主庫至少對應1個Redis從庫；消息隊列節點：在不同的服務器上部署消息隊列分布式集群作為對Redis鍵值進行處理的中間載體；臨時緩存節點：在兩臺服務器上分別部署Pika主庫和Pika從庫，用于存儲Redis集群清理的數據；管理節點：存儲所有元信息，同時部署Web應用服務，訪問Redis集群、消息隊列集群和Pika主庫，對Redis鍵值進行刪除處理。本發明的處理速度接近內存級速度，可以實現快速清理海量數據，使用簡單可靠，對Redis集群服務影響小，可以實現數據一鍵回滾。

技術領域

本發明屬于計算機技術領域，主要應用于Redis數據庫的應用場景，用于快速清理Redis集群的海量數據。

背景技術

對于互聯網公司而言，Redis數據庫作為緩存和高性能存儲方案，應用越來越廣泛，尤其是Redis集群，由于支持分布式高可用和橫向擴展，得到了普及應用。但是，Redis集群的特點決定了清理海量數據的復雜度，現有Redis集群數據清理的方案存在如下缺點：

1)清理速度慢，無法滿足短時間內清理海量數據的需求，從而影響生產環境服務的正常運轉。

2)對Redis集群服務影響大，對于高并發Redis集群而言，清理海量數據，會影響生產環境業務正常運行。

3)易用性差，對操作人員能力要求很高，操作便捷性差。

發明內容

本發明針對現有技術的不足，提供一種基于消息隊列的Redis集群海量數據快速清理系統及方法，基于消息隊列可以避免數據寫入磁盤，在內存中對數據進行分析后，調用Redis接口即可進行快速清理。

本發明的目的是通過以下技術方案來實現的：一種基于消息隊列的Redis集群海量數據快速清理系統，該系統包括管理節點、Redis集群節點、消息隊列節點和臨時緩存節點。

Redis集群節點：在不同的服務器上部署Redis cluster服務，至少部署三個Redis主庫，每個Redis主庫至少對應1個Redis從庫，避免某個主庫宕機后，Redis cluster無法正常運行；不同的Redis主庫端口不同，Redis主庫和對應的Redis從庫端口一致；

消息隊列節點：在不同的服務器上部署消息隊列分布式集群，服務器為IO型服務器，為了支持海量數據，采用支持分布式和橫向擴展的消息隊列存儲方案，設置兩副本，部署三個分片，消息隊列分布式集群作為對Redis鍵值進行處理的中間載體；

臨時緩存節點：在兩臺服務器上分別部署Pika主庫和Pika從庫，端口號一致，用于存儲Redis集群清理的數據，便于進行回滾操作，為了提高處理速度和節省內存空間，采用Pika作為存儲方案。

管理節點：存儲所有元信息，包括Redis集群元信息、消息隊列元信息、臨時緩存元信息和緩存數據統計信息，所述Redis集群元信息包括：Redis集群中所有Redis主庫的IP和端口，以及每個Redis集群的集群標識符，集群標識符采用Redis集群對應的業務名稱英文字符，不同的Redis集群，集群標識符不同；消息隊列元信息包括：消息隊列集群中所有分片的IP、端口；臨時緩存元信息包括：Pika主庫的IP、端口和密碼；緩存數據統計信息包括：鍵值前綴、鍵值數量和執行時間；所述鍵值前綴是Redis集群中某一類Key的前綴，一個鍵值前綴可以匹配到一個或者多個Key，Key是Redis集群中的鍵；所述執行時間包括刪除某個鍵值前綴匹配到的所有鍵值的開始時間點和完成時間點；同時，在管理節點上部署Web應用服務，訪問Redis集群、消息隊列集群和Pika主庫，對Redis鍵值進行刪除處理。