[發(fā)明專利]數(shù)據(jù)緩存方法、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011356737.9
• 申請(qǐng)日: 2020-11-27
• 公開(kāi)（公告）號(hào): CN112487326A
• 公開(kāi)（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 陳曉麗;范淵;劉博
• 申請(qǐng)（專利權(quán)）人: 杭州安恒信息技術(shù)股份有限公司
• 主分類號(hào): G06F16/957
• 分類號(hào): G06F16/957;G06F16/958
• 代理公司: 杭州華進(jìn)聯(lián)浙知識(shí)產(chǎn)權(quán)代理有限公司 33250
• 代理人: 賀才杰

本申請(qǐng)涉及一種數(shù)據(jù)緩存方法、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備，該方法包括：統(tǒng)計(jì)訪問(wèn)詞在預(yù)設(shè)時(shí)間間隔的后臺(tái)服務(wù)器訪問(wèn)量；當(dāng)訪問(wèn)詞的訪問(wèn)量達(dá)到第一預(yù)設(shè)閾值時(shí)，標(biāo)記訪問(wèn)詞標(biāo)記為熱點(diǎn)詞，調(diào)取熱點(diǎn)詞對(duì)應(yīng)的內(nèi)容數(shù)據(jù)；將內(nèi)容數(shù)據(jù)由redis存儲(chǔ)端緩存至客戶端；當(dāng)熱點(diǎn)詞的預(yù)設(shè)的時(shí)間后臺(tái)服務(wù)器訪問(wèn)量低于第一預(yù)設(shè)值時(shí)，標(biāo)記熱點(diǎn)詞為溫點(diǎn)詞；當(dāng)溫點(diǎn)詞的預(yù)設(shè)的時(shí)間后臺(tái)服務(wù)器訪問(wèn)量低于第二預(yù)設(shè)值時(shí)，清除客戶端對(duì)應(yīng)的內(nèi)容數(shù)據(jù)。通過(guò)本申請(qǐng)，合理分配利用redis存儲(chǔ)端的緩存空間，提升了數(shù)據(jù)查詢的響應(yīng)效率和查詢系統(tǒng)穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)緩存方法、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，大量網(wǎng)絡(luò)應(yīng)用產(chǎn)生了海量的數(shù)據(jù)，為了提高查詢效率，同時(shí)為避免直接與數(shù)據(jù)庫(kù)操作而出現(xiàn)系統(tǒng)瓶頸，通常將數(shù)據(jù)放入redis存儲(chǔ)端。

redis存儲(chǔ)端上緩存的熱點(diǎn)數(shù)據(jù)，可能存在70％以上的數(shù)據(jù)量在一段固定時(shí)間之內(nèi)，僅被30％的訪問(wèn)請(qǐng)求，剩余百分之30％承受著70％的訪問(wèn)請(qǐng)求，甚至可能存在1％的數(shù)據(jù)在某段固定的時(shí)間承受著90％的訪問(wèn)請(qǐng)求，為了這某段固定時(shí)間點(diǎn)急劇產(chǎn)生的訪問(wèn)需求，會(huì)有存在以下幾類潛在的風(fēng)險(xiǎn)；(1)在某段固定時(shí)間點(diǎn)急劇產(chǎn)生對(duì)某一小部分緩存數(shù)據(jù)的急劇訪問(wèn)需求，假設(shè)當(dāng)前緩存數(shù)據(jù)失效，大批量的請(qǐng)求直接打到數(shù)據(jù)庫(kù)上，導(dǎo)致整個(gè)系統(tǒng)奔潰，即使做了雙端加鎖，在數(shù)據(jù)庫(kù)中獲取新的緩存數(shù)據(jù)，也將會(huì)有一大批訪問(wèn)請(qǐng)求阻塞并請(qǐng)求超時(shí)；(2)假設(shè)緩存系統(tǒng)穩(wěn)定的情況下，大批請(qǐng)求直接被緩存命中，假設(shè)對(duì)于單個(gè)服務(wù)而言，訪問(wèn)redis存儲(chǔ)端的請(qǐng)求量超過(guò)了redis存儲(chǔ)端的連接池資源，會(huì)對(duì)當(dāng)前應(yīng)用訪問(wèn)redis存儲(chǔ)端其他請(qǐng)求造成訪問(wèn)失敗或其他未知問(wèn)題；(3)假設(shè)緩存系統(tǒng)穩(wěn)定的情況下，大批請(qǐng)求直接被緩存命中，對(duì)于redis存儲(chǔ)端集群服務(wù)而言，可能需要去衡量訪問(wèn)請(qǐng)求量，假設(shè)超過(guò)了當(dāng)前集群能夠承受的量，可能導(dǎo)致緩存集群服務(wù)的不穩(wěn)定。

發(fā)明內(nèi)容

基于此，本發(fā)明的目的是提供一種數(shù)據(jù)緩存方法、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備，合理分配利用redis存儲(chǔ)端的緩存空間，提升了數(shù)據(jù)查詢的響應(yīng)效率和查詢系統(tǒng)穩(wěn)定性。

本發(fā)明提供一種數(shù)據(jù)緩存方法，所述方法包括：

統(tǒng)計(jì)訪問(wèn)詞在預(yù)設(shè)時(shí)間間隔的后臺(tái)服務(wù)器訪問(wèn)量；

當(dāng)所述訪問(wèn)詞的訪問(wèn)量達(dá)到第一預(yù)設(shè)閾值時(shí)，標(biāo)記所述訪問(wèn)詞為熱點(diǎn)詞，調(diào)取所述熱點(diǎn)詞對(duì)應(yīng)的內(nèi)容數(shù)據(jù)；

將所述內(nèi)容數(shù)據(jù)由redis存儲(chǔ)端緩存至客戶端；

當(dāng)所述熱點(diǎn)詞的預(yù)設(shè)的時(shí)間內(nèi)后臺(tái)服務(wù)器訪問(wèn)量低于第一預(yù)設(shè)值時(shí)，標(biāo)記所述熱點(diǎn)詞為溫點(diǎn)詞；

當(dāng)所述溫點(diǎn)詞的預(yù)設(shè)的時(shí)間內(nèi)后臺(tái)服務(wù)器訪問(wèn)量低于第二預(yù)設(shè)值時(shí)，清除所述客戶端對(duì)應(yīng)的所述內(nèi)容數(shù)據(jù)。

本發(fā)明提供的數(shù)據(jù)緩存方法，可在預(yù)設(shè)時(shí)間間隔循環(huán)統(tǒng)計(jì)訪問(wèn)詞并確定訪問(wèn)詞中的熱點(diǎn)詞，將熱點(diǎn)詞對(duì)應(yīng)的內(nèi)容數(shù)據(jù)(即熱點(diǎn)數(shù)據(jù))從redis存儲(chǔ)端緩存至客戶端，使得redis存儲(chǔ)端的存儲(chǔ)空間始終相對(duì)穩(wěn)定，避免了大批量訪問(wèn)請(qǐng)求導(dǎo)致redis存儲(chǔ)端癱瘓的情況，克服了當(dāng)在大批訪問(wèn)請(qǐng)求直接被緩存命中，訪問(wèn)redis存儲(chǔ)端的請(qǐng)求量超過(guò)了redis存儲(chǔ)端的連接池資源，會(huì)對(duì)當(dāng)前應(yīng)用訪問(wèn)redis存儲(chǔ)端其他請(qǐng)求造成訪問(wèn)失敗的問(wèn)題。

同時(shí)，當(dāng)熱點(diǎn)詞的訪問(wèn)量下降到設(shè)定值(即第二預(yù)設(shè)值)時(shí)，將清除客戶端對(duì)應(yīng)的所述內(nèi)容數(shù)據(jù)，也確保了客戶端緩存的及時(shí)清理，使得客戶端的緩存空間可以合理分配利用，保證了其正常的運(yùn)行。

進(jìn)一步的，所述統(tǒng)計(jì)訪問(wèn)詞在預(yù)設(shè)時(shí)間間隔的后臺(tái)服務(wù)器訪問(wèn)量的步驟包括：

獲取所有客戶端的訪問(wèn)請(qǐng)求記錄，所述訪問(wèn)請(qǐng)求記錄包括訪問(wèn)時(shí)間、訪問(wèn)地址、訪問(wèn)詞；

根據(jù)原子遞增方法統(tǒng)計(jì)預(yù)設(shè)時(shí)間間隔每個(gè)訪問(wèn)詞的訪問(wèn)量。

進(jìn)一步的，所述將所述內(nèi)容數(shù)據(jù)由redis存儲(chǔ)端緩存至客戶端的步驟之后還包括：