[發明專利]一種基于元數據管理的分布式緩存實現方法及系統

有效

• 申請號: 201210205262.2
• 申請日: 2012-06-20
• 公開（公告）號: CN102710790A
• 公開（公告）日: 2012-10-03
• 發明（設計）人: 高正
• 申請（專利權）人: 深圳市遠行科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

技術領域

本發明涉及一種計算機領域，特別是涉及一種基于元數據管理的分布式緩存實現方法及系統。

背景技術

分布式，是指在核心系統外部，通過一個集群方式實現的某項功能。Memcached是目前使用范圍最廣泛的一個分布式緩存實現。Memcached盡管是“分布式”的緩存服務器，但服務器端并沒有分布式功能。各個Memcached節點間不會互相通信以共享信息，對分布式的支持完全取決于客戶端的實現。

目前的Memcache客戶端，一般通過資源池的方式實現分布式，資源調度算法主要有“余數計算法”和“一致哈希計算法”，采用“余數計算法”的客戶端，在緩存服務器數目有變化時，會引發大面積的緩存重組，嚴重影響緩存命中率。而“一致哈希計算法”的復雜度高于“余數計算法”，在緩存服務器數目變化時，影響面積小于“余數計算法”，但也同樣會產生緩存重組，降低緩存命中率。另外，目前的Memcache客戶端實現均不支持副本功能。

所以，有必要提出一種新的技術，以解決在分布式緩存的環境中，當緩存節點（服務器）數目有變化，或者某些緩存節點失效的情況下，所引起的緩存重組、命中率大幅度降低的問題。

發明內容

本發明的目的在于提供一種基于元數據管理的分布式緩存實現方法及系統，可以解決在分布式緩存的環境中，當緩存節點數目有變化，或者某些緩存節點失效的情況下所引起的緩存重組、命中率大幅度降低的問題。

為了解決以下技術問題，本發明提供一種基于元數據管理的分布式緩存實現方法，包括：

步驟1、用戶通過緩存客戶端獲取實際緩存節點元數據信息；

步驟2、用戶根據緩存客戶端返回的元數據信息直接訪問緩存節點存取數據。

進一步地，所述步驟1具體包括：

步驟1.1、緩存客戶端接收用戶請求；

步驟1.2、緩存客戶端根據用戶請求，獲取實際緩存節點元數據信息；

步驟1.3、緩存客戶端將獲取的緩存節點元數據信息返回給用戶。

進一步地，所述步驟1.2具體包括：緩存客戶端根據用戶請求，從存儲的元數據中確定出最優緩存節點作為用戶的實際緩存節點。

進一步地，所述確定最優緩存節點的具體方法如下：

當緩存數據沒有副本時，根據元數據中存儲的緩存節點存儲情況以及響應時間，確定最優緩存節點；

當緩存數據有副本時，用戶的請求在緩存主體創建完成后即返回，再排除掉主體所在緩存節點，根據元數據中存儲的緩存節點存儲情況以及響應時間，逐一確定副本所在的最優緩存節點。

為了解決以下技術問題，本發明還提供一種基于元數據管理的分布式緩存實現系統，包括：用戶、緩存客戶端、至少包含一個緩存節點，

所述緩存客戶端，位于用戶與緩存節點之間，用于接收用戶請求，以及管理緩存節點的元數據信息；

所述緩存節點，用于存取數據；

用戶訪問緩存節點時，用戶通過所述緩存客戶端獲取實際緩存節點元數據信息，根據元數據信息直接訪問緩存節點存取數據。

進一步地，所述緩存客戶端包括：元數據管理模塊、心跳服務模塊、負載均衡模塊，

所述元數據管理模塊，用于提供元數據支持，并對元數據進行管理；

所述心跳服務模塊，用于向緩存節點發送心跳消息，并記錄存儲其響應時間到元數據中；

所述負載均衡模塊，根據元數據中存儲的緩存節點存儲情況以及心跳服務模塊提供的緩存節點響應時間，確定最優緩存節點，再從該最優緩存節點下載緩存數據。

進一步地，所述緩存客戶端還進一步包括：副本管理模塊，用于在某個緩存節點存在大并發用戶訪問時，對其緩存數據建立副本。

進一步地，所述副本管理模塊建立副本過程如下：將緩存數據從主節點，按照負載均衡算法計算出一系列副本節點，以異步形式將緩存數據從主節點復制到多個副本節點上，同時將副本的位置信息記錄到元數據中。

進一步地，所述負載均衡模塊確定出最優緩存節點的方法是：當緩存數據沒有副本時，根據元數據中存儲的緩存節點存儲情況以及響應時間，確定最優緩存節點；當緩存數據有副本時，用戶的請求在緩存主體創建完成后即返回，再排除掉主體所在緩存節點，根據元數據中存儲的緩存節點存儲情況以及響應時間，逐一確定副本所在的最優緩存節點。

進一步地，所述緩存客戶端還進一步包括：失效管理模塊，用于在緩存數據失效時清理客戶端的元數據。