[發明專利]一種通用緩存系統及其方法

有效

• 申請號: 201510013404.9
• 申請日: 2015-01-12
• 公開（公告）號: CN104618455B
• 公開（公告）日: 2018-02-27
• 發明（設計）人: 楊毅;楊曉明;余效偉;李旭陽;張鶴高;胡道生
• 申請（專利權）人: 北京中交興路車聯網科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙)11390
• 代理人: 胡劍輝

技術領域

本發明涉及數據處理的技術領域，具體地涉及一種通用緩存系統及其方法，主要用于車聯網系統中大數據的處理。

背景技術

隨著人類社會的發展和進步，人們越來越多地采用汽車作為交通工具，道路上的汽車增長迅猛，這就亟需對道路上的車輛進行監控和分析，這樣車聯網系統就應運而生。而車聯網系統中存在大量的數據需要進行存儲和處理，這就要求車聯網系統要具有一種通用緩存系統。

目前，在車聯網系統中使用Redis緩存系統，但是這種緩存系統不能滿足車聯網系統的一些使用要求：

1、Redis緩存目前最新版本并不支持分片，但是當用戶的數據量超過單機內存時，需要對緩存進行分片處理。

2、目前的Redis緩存一些客戶端的Hash(哈希)分片不能達到數據均勻分布，并且不支持動態擴展。如果使用停機擴展，擴展后的數據不能達到均勻分布。

3、當多個業務使用Redis緩存的時候，會造成key的復雜，容易產生重疊錯誤，而且可維護性差。

4、目前Redis緩存的客戶端為第三方開發，多語言支持不統一。

5、目前Redis緩存的監控和管理相對薄弱。

發明內容

本發明的技術解決問題是：克服現有技術的不足，提供一種通用緩存系統，其架構設計簡單、實用、負載均衡，支持動態水平擴展且擴展過程中不影響應用系統正常訪問，提高key的可維護性，支持多語言客戶端訪問；便于集中監控和管理。

本發明的技術解決方案是：這種通用緩存系統，其采用弱中心一致性Hash架構并包括配置服務器、數據服務器、腳本工具、客戶端工具、Agent日志收集器、配置管理單元；

配置服務器為一個，配置來存儲通用緩存的元數據，為客戶端創建連接池、系統升級和狀態通知使用；

數據服務器為一個或多個，配置來存儲海量緩存數據；

腳本工具配置來提供初始化腳本用來初始化配置服務器元數據、提供動態擴展腳本用來動態水平擴展使用、提供管理腳本對緩存庫、表的增刪改查和緩存數據進行控制；

客戶端工具配置來提供多語言客戶端進行共享緩存訪問；

Agent日志收集器配置來對每個服務器進行日志收集，統一進行監控；

配置管理單元配置來對緩存的安裝、初始化、升級、和數據做統一的配置控制。

還提供了一種采用這種通用緩存系統的方法，該方法包括以下步驟：

(1)通過配置管理單元進行通用緩存系統的安裝，用腳本工具來初始化配置服務器；

(2)應用服務通過客戶端工具進行共享緩存的訪問；

(3)在數據服務器上執行應用服務所有緩存的增刪改查操作。

通過本發明的系統和方法，保證架構設計簡單、實用，一致性Hash使緩存數據均勻分布，達到負載均衡；動態水平擴展能對現有數據進行遷移達到各緩存實例內存均衡，水平擴展后性能成線性增長，擴展過程中不影響應用系統正常訪問；優化了Redis緩存客戶端代碼中keys指令的使用，客戶端封裝了豐富的查詢接口，并在緩存擴展數據遷移的過程中解決了數據量大內存溢出的問題；引入庫、表結構使不同業務之間實現數據隔離，提高key的可維護性；支持多語言客戶端訪問共享緩存，內存自動回收；每個實例提供Agent代理進行統一日志收集，便于集中的監控和管理。

附圖說明

圖1為根據本發明的弱中心一致性Hash架構示意圖。

圖2為采用根據本發明的通用緩存系統的方法的流程圖。

圖3為采用根據本發明的所述步驟(4)的流程圖。

圖4為采用根據本發明的所述步驟(5)的流程圖。

具體實施方式

這種通用緩存系統，其采用弱中心一致性Hash架構(如圖1所示)并包括配置服務器、數據服務器、腳本工具、客戶端工具、Agent日志收集器、配置管理單元；

配置服務器為一個，配置來存儲通用緩存的元數據，為客戶端創建連

接池、系統升級和狀態通知使用；

數據服務器為一個或多個，配置來存儲海量緩存數據；

腳本工具配置來提供初始化腳本用來初始化配置服務器元數據、提供動態擴展腳本用來動態水平擴展使用、提供管理腳本對緩存庫、表的增刪改查和緩存數據進行控制；

客戶端工具配置來提供多語言客戶端進行共享緩存訪問；

Agent日志收集器配置來對每個服務器進行日志收集，統一進行監控；

配置管理單元配置來對緩存的安裝、初始化、升級、和數據做統一的配置控制。