[發(fā)明專利]一種用于WEB應(yīng)用的數(shù)據(jù)緩存集群和數(shù)據(jù)檢索方法

在審

• 申請?zhí)枺?/td>: 201611095454.7
• 申請日: 2016-12-02
• 公開（公告）號: CN106790422A
• 公開（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 陳岳峰
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11200
• 代理人: 邱曉鋒

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用領(lǐng)域，具體涉及一種用于WEB應(yīng)用的數(shù)據(jù)緩存集群，以及基于該數(shù)據(jù)緩存集群的數(shù)據(jù)檢索方法。

背景技術(shù)

大數(shù)據(jù)搜索現(xiàn)在已是熱門話題，大數(shù)據(jù)搜索大致可以包含幾部分：支持大數(shù)據(jù)檢索的數(shù)據(jù)庫、大數(shù)據(jù)搜索引擎和各個基于大數(shù)據(jù)接口查詢的應(yīng)用系統(tǒng)。其中支持大數(shù)據(jù)檢索的數(shù)據(jù)庫例如HBase等是處于整個系統(tǒng)的底層，主要負(fù)責(zé)數(shù)據(jù)的存儲。大數(shù)據(jù)搜索引擎位于數(shù)據(jù)庫和應(yīng)用系統(tǒng)的中間位置，主要負(fù)責(zé)數(shù)據(jù)的組織，并按照約定的規(guī)則將服務(wù)接口暴露給應(yīng)用系統(tǒng)，供應(yīng)用系統(tǒng)調(diào)用檢索。各個應(yīng)用系統(tǒng)通過調(diào)用大數(shù)據(jù)搜索引擎獲取需要檢索的數(shù)據(jù)，并將數(shù)據(jù)展現(xiàn)給用戶。

由于有些數(shù)據(jù)是可以重復(fù)使用的，而且各個系統(tǒng)都調(diào)用搜索引擎，如果頻繁重復(fù)調(diào)用就會使得搜索引擎壓力過大，甚至可能會導(dǎo)致搜索引擎服務(wù)器癱瘓和崩潰。

發(fā)明內(nèi)容

本發(fā)明針對上述問題，提供一種用于WEB應(yīng)用的數(shù)據(jù)緩存方法和緩存集群，能夠減少搜索引擎的請求次數(shù)，提高應(yīng)用系統(tǒng)的查詢速度。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

一種用于WEB應(yīng)用的數(shù)據(jù)緩存集群，包括控制節(jié)點(diǎn)、普通存儲節(jié)點(diǎn)和高速存儲節(jié)點(diǎn)；所述普通存儲節(jié)點(diǎn)是基于永久性存儲器的存儲節(jié)點(diǎn)；所述高速存儲節(jié)點(diǎn)是基于內(nèi)存的高速訪問節(jié)點(diǎn)；所述控制節(jié)點(diǎn)負(fù)責(zé)緩存數(shù)據(jù)的存儲控制和請求的分發(fā)工作，將來自應(yīng)用服務(wù)器的數(shù)據(jù)存儲或訪問請求分發(fā)送給所述普通存儲節(jié)點(diǎn)和所述高速存儲節(jié)點(diǎn)；所述普通存儲節(jié)點(diǎn)和所述高速存儲節(jié)點(diǎn)負(fù)責(zé)具體數(shù)據(jù)的存儲和訪問。

進(jìn)一步地，所述控制節(jié)點(diǎn)包括主控制節(jié)點(diǎn)和備用控制節(jié)點(diǎn)，所述備用控制節(jié)點(diǎn)負(fù)責(zé)在主控制節(jié)點(diǎn)無法提供服務(wù)時代替主控制節(jié)點(diǎn)提供控制服務(wù)。

進(jìn)一步地，所述備用控制節(jié)點(diǎn)間隔指定時間向主控制節(jié)點(diǎn)發(fā)送請求確定主控制節(jié)點(diǎn)是否能正常提供服務(wù)，如果主控制節(jié)點(diǎn)服務(wù)正常，主控制節(jié)點(diǎn)會響應(yīng)備用控制節(jié)點(diǎn)；如果超過一定時間沒有接收主控制節(jié)點(diǎn)的響應(yīng)，則備用控制節(jié)點(diǎn)認(rèn)定主控制節(jié)點(diǎn)處于故障中。

進(jìn)一步地，所述備用控制節(jié)點(diǎn)為一個或多個；若備用控制節(jié)點(diǎn)為一個，則在主控制節(jié)點(diǎn)無法提供服務(wù)時，該備用控制節(jié)點(diǎn)立即替代主控制節(jié)點(diǎn)，并將原先的主控制節(jié)點(diǎn)的虛擬IP映射到該備用控制節(jié)點(diǎn)的服務(wù)器上；若備用控制節(jié)點(diǎn)為多個，則在主控制節(jié)點(diǎn)無法提供服務(wù)時，按照事先設(shè)置的備用控制節(jié)點(diǎn)的優(yōu)先級將優(yōu)先級最高的備用控制節(jié)點(diǎn)設(shè)置為主控制節(jié)點(diǎn)，并將原先的主控制節(jié)點(diǎn)的虛擬IP映射到該備用控制節(jié)點(diǎn)的服務(wù)器上。

進(jìn)一步地，所述備用控制節(jié)點(diǎn)在替代原先主控制節(jié)點(diǎn)后，發(fā)送短信告知服務(wù)器管理員進(jìn)行故障處理，當(dāng)故障處理完畢后，管理員登錄管理系統(tǒng)，發(fā)送請求告知其他控制節(jié)點(diǎn)此故障節(jié)點(diǎn)已恢復(fù)，并成為備用控制節(jié)點(diǎn)；所述主控制節(jié)點(diǎn)定時發(fā)送請求以確定各個存儲節(jié)點(diǎn)是否能正常提供服務(wù)，如果存儲節(jié)點(diǎn)超過一定時間無法響應(yīng)，則主控制節(jié)點(diǎn)認(rèn)定此存儲節(jié)點(diǎn)已處于故障中，并發(fā)送短信告知服務(wù)器管理員進(jìn)行故障處理。

進(jìn)一步地，所述普通存儲節(jié)點(diǎn)通過Solr和Mongodb數(shù)據(jù)庫將數(shù)據(jù)存儲在磁盤上，所述高速存儲節(jié)點(diǎn)將緩存數(shù)據(jù)中的熱點(diǎn)數(shù)據(jù)存儲在內(nèi)存中。

進(jìn)一步地，通過以下方法解決存儲節(jié)點(diǎn)的數(shù)據(jù)老化問題：在保存數(shù)據(jù)到存儲節(jié)點(diǎn)之前，生成一個字段來存儲此數(shù)據(jù)的時間戳，根據(jù)存儲的數(shù)據(jù)的時間戳設(shè)定相應(yīng)的時間對數(shù)據(jù)進(jìn)行清理，以釋放存儲空間。

一種基于所述數(shù)據(jù)緩存集群的數(shù)據(jù)檢索方法，包括以下步驟：

1)應(yīng)用系統(tǒng)向數(shù)據(jù)緩存集群發(fā)送數(shù)據(jù)檢索請求；

2)數(shù)據(jù)緩存集群中的控制節(jié)點(diǎn)接收到數(shù)據(jù)檢索請求后，確定普通存儲節(jié)點(diǎn)和高速存儲節(jié)點(diǎn)中是否存在所查詢的數(shù)據(jù)，如果存在則返回相關(guān)數(shù)據(jù)，如果不存在則返回空數(shù)據(jù)；

3)當(dāng)數(shù)據(jù)緩存集群返回空數(shù)據(jù)時，應(yīng)用系統(tǒng)發(fā)送請求到搜索引擎進(jìn)行檢索，并將檢索到的數(shù)據(jù)存儲到數(shù)據(jù)緩存集群中。

進(jìn)一步地，所述應(yīng)用系統(tǒng)將數(shù)據(jù)檢索請求的參數(shù)拼接成一個字符串，并將此字符串進(jìn)行MD5加密最后生成一個MD5串，然后將該MD5串發(fā)送到所述數(shù)據(jù)緩存集群中進(jìn)行查詢；所述數(shù)據(jù)緩存集群中的控制節(jié)點(diǎn)接收到查詢請求時，將MD5串進(jìn)行HASH計(jì)算，從而確定存在此數(shù)據(jù)的能正常提供服務(wù)的存儲節(jié)點(diǎn)。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：