[發(fā)明專利]一種用于WEB應(yīng)用的數(shù)據(jù)緩存集群和數(shù)據(jù)檢索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611095454.7
• 申請(qǐng)日: 2016-12-02
• 公開(kāi)（公告）號(hào): CN106790422A
• 公開(kāi)（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 陳岳峰
• 申請(qǐng)（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/24
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11200
• 代理人: 邱曉鋒

1.一種用于WEB應(yīng)用的數(shù)據(jù)緩存集群，其特征在于，包括控制節(jié)點(diǎn)、普通存儲(chǔ)節(jié)點(diǎn)和高速存儲(chǔ)節(jié)點(diǎn)；所述普通存儲(chǔ)節(jié)點(diǎn)是基于永久性存儲(chǔ)器的存儲(chǔ)節(jié)點(diǎn)；所述高速存儲(chǔ)節(jié)點(diǎn)是基于內(nèi)存的高速訪問(wèn)節(jié)點(diǎn)；所述控制節(jié)點(diǎn)負(fù)責(zé)緩存數(shù)據(jù)的存儲(chǔ)控制和請(qǐng)求的分發(fā)工作，將來(lái)自應(yīng)用服務(wù)器的數(shù)據(jù)存儲(chǔ)或訪問(wèn)請(qǐng)求分發(fā)送給所述普通存儲(chǔ)節(jié)點(diǎn)和所述高速存儲(chǔ)節(jié)點(diǎn)；所述普通存儲(chǔ)節(jié)點(diǎn)和所述高速存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)具體數(shù)據(jù)的存儲(chǔ)和訪問(wèn)。

2.如權(quán)利要求1所述的數(shù)據(jù)緩存集群，其特征在于：所述控制節(jié)點(diǎn)包括主控制節(jié)點(diǎn)和備用控制節(jié)點(diǎn)，所述備用控制節(jié)點(diǎn)負(fù)責(zé)在主控制節(jié)點(diǎn)無(wú)法提供服務(wù)時(shí)代替主控制節(jié)點(diǎn)提供控制服務(wù)。

3.如權(quán)利要求2所述的數(shù)據(jù)緩存集群，其特征在于：所述備用控制節(jié)點(diǎn)間隔指定時(shí)間向主控制節(jié)點(diǎn)發(fā)送請(qǐng)求確定主控制節(jié)點(diǎn)是否能正常提供服務(wù)，如果主控制節(jié)點(diǎn)服務(wù)正常，主控制節(jié)點(diǎn)會(huì)響應(yīng)備用控制節(jié)點(diǎn)；如果超過(guò)一定時(shí)間沒(méi)有接收主控制節(jié)點(diǎn)的響應(yīng)，則備用控制節(jié)點(diǎn)認(rèn)定主控制節(jié)點(diǎn)處于故障中。

4.如權(quán)利要求3所述的數(shù)據(jù)緩存集群，其特征在于：所述備用控制節(jié)點(diǎn)為一個(gè)或多個(gè)；若備用控制節(jié)點(diǎn)為一個(gè)，則在主控制節(jié)點(diǎn)無(wú)法提供服務(wù)時(shí)，該備用控制節(jié)點(diǎn)立即替代主控制節(jié)點(diǎn)，并將原先的主控制節(jié)點(diǎn)的虛擬IP映射到該備用控制節(jié)點(diǎn)的服務(wù)器上；若備用控制節(jié)點(diǎn)為多個(gè)，則在主控制節(jié)點(diǎn)無(wú)法提供服務(wù)時(shí)，按照事先設(shè)置的備用控制節(jié)點(diǎn)的優(yōu)先級(jí)將優(yōu)先級(jí)最高的備用控制節(jié)點(diǎn)設(shè)置為主控制節(jié)點(diǎn)，并將原先的主控制節(jié)點(diǎn)的虛擬IP映射到該備用控制節(jié)點(diǎn)的服務(wù)器上。

5.如權(quán)利要求2至4中任一權(quán)利要求所述的數(shù)據(jù)緩存集群，其特征在于：所述備用控制節(jié)點(diǎn)在替代原先主控制節(jié)點(diǎn)后，發(fā)送短信告知服務(wù)器管理員進(jìn)行故障處理，當(dāng)故障處理完畢后，管理員登錄管理系統(tǒng)，發(fā)送請(qǐng)求告知其他控制節(jié)點(diǎn)此故障節(jié)點(diǎn)已恢復(fù)，并成為備用控制節(jié)點(diǎn)；所述主控制節(jié)點(diǎn)定時(shí)發(fā)送請(qǐng)求以確定各個(gè)存儲(chǔ)節(jié)點(diǎn)是否能正常提供服務(wù)，如果存儲(chǔ)節(jié)點(diǎn)超過(guò)一定時(shí)間無(wú)法響應(yīng)，則主控制節(jié)點(diǎn)認(rèn)定此存儲(chǔ)節(jié)點(diǎn)已處于故障中，并發(fā)送短信告知服務(wù)器管理員進(jìn)行故障處理。

6.如權(quán)利要求1所述的數(shù)據(jù)緩存集群，其特征在于：所述普通存儲(chǔ)節(jié)點(diǎn)通過(guò)Solr和Mongodb數(shù)據(jù)庫(kù)將數(shù)據(jù)存儲(chǔ)在磁盤上，所述高速存儲(chǔ)節(jié)點(diǎn)將緩存數(shù)據(jù)中的熱點(diǎn)數(shù)據(jù)存儲(chǔ)在內(nèi)存中。

7.如權(quán)利要求6所述的數(shù)據(jù)緩存集群，其特征在于：所述Mongodb數(shù)據(jù)庫(kù)負(fù)責(zé)全部數(shù)據(jù)的緩存存儲(chǔ)，包含每條數(shù)據(jù)的全部字段；在每條數(shù)據(jù)的全部字段中挑選出一部分供查詢的關(guān)鍵字段創(chuàng)建索引，并保存在Solr數(shù)據(jù)庫(kù)中；利用Solr數(shù)據(jù)庫(kù)的檢索功能負(fù)責(zé)索引的檢索，并從Solr數(shù)據(jù)庫(kù)的檢索數(shù)據(jù)中獲取命中索引在Mongodb數(shù)據(jù)庫(kù)中的主鍵ID，最后通過(guò)對(duì)應(yīng)Mongodb庫(kù)中的主鍵ID獲取想要數(shù)據(jù)的全部字段。

8.如權(quán)利要求1所述的數(shù)據(jù)緩存集群，其特征在于，通過(guò)以下方法解決存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)老化問(wèn)題：在保存數(shù)據(jù)到存儲(chǔ)節(jié)點(diǎn)之前，生成一個(gè)字段來(lái)存儲(chǔ)此數(shù)據(jù)的時(shí)間戳，根據(jù)存儲(chǔ)的數(shù)據(jù)的時(shí)間戳設(shè)定相應(yīng)的時(shí)間對(duì)數(shù)據(jù)進(jìn)行清理，以釋放存儲(chǔ)空間。

9.一種基于權(quán)利要求1所述數(shù)據(jù)緩存集群的數(shù)據(jù)檢索方法，其特征在于，包括以下步驟：

1)應(yīng)用系統(tǒng)向數(shù)據(jù)緩存集群發(fā)送數(shù)據(jù)檢索請(qǐng)求；

2)數(shù)據(jù)緩存集群中的控制節(jié)點(diǎn)接收到數(shù)據(jù)檢索請(qǐng)求后，確定普通存儲(chǔ)節(jié)點(diǎn)和高速存儲(chǔ)節(jié)點(diǎn)中是否存在所查詢的數(shù)據(jù)，如果存在則返回相關(guān)數(shù)據(jù)，如果不存在則返回空數(shù)據(jù)；

3)當(dāng)數(shù)據(jù)緩存集群返回空數(shù)據(jù)時(shí)，應(yīng)用系統(tǒng)發(fā)送請(qǐng)求到搜索引擎進(jìn)行檢索，并將檢索到的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)緩存集群中。

10.如權(quán)利要求9所述的數(shù)據(jù)檢索方法，其特征在于：所述應(yīng)用系統(tǒng)將數(shù)據(jù)檢索請(qǐng)求的參數(shù)拼接成一個(gè)字符串，并將此字符串進(jìn)行MD5加密最后生成一個(gè)MD5串，然后將該MD5串發(fā)送到所述數(shù)據(jù)緩存集群中進(jìn)行查詢；所述數(shù)據(jù)緩存集群中的控制節(jié)點(diǎn)接收到查詢請(qǐng)求時(shí)，將MD5串進(jìn)行HASH計(jì)算，從而確定存在此數(shù)據(jù)的能正常提供服務(wù)的存儲(chǔ)節(jié)點(diǎn)。