[發(fā)明專利]一種基于對象存儲的大文件分布式緩存系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010618725.2
• 申請日: 2020-07-01
• 公開（公告）號: CN111752905A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計）人: 王大帥;于昊;高傳集
• 申請（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182;G06F16/2455;G06F16/2458;G06F16/27
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 馮春連

本發(fā)明公開一種基于對象存儲的大文件分布式緩存系統(tǒng)，涉及文件緩存技術(shù)領(lǐng)域，其結(jié)構(gòu)包括系統(tǒng)主體、緩存插件、對象存儲和數(shù)據(jù)庫，其運(yùn)行過程包括A、B兩部分。A、緩存的獲取或存入：所述緩存插件向系統(tǒng)主體發(fā)送查詢或存入請求，系統(tǒng)主體根據(jù)請求到數(shù)據(jù)庫中查詢，并返回數(shù)據(jù)庫的查詢結(jié)果。B、緩存的自動管理：基于緩存占有空間與觸發(fā)流轉(zhuǎn)流程閾值的比較、緩存的熱度值、緩存容量和與刪除閾值的比較，將緩存自動放入對象存儲的不同區(qū)域。本發(fā)明可以提升多媒體處理等長耗時操作的體驗，可以充分利用項目中已有的對象存儲，降低項目的復(fù)雜性，還可以自動進(jìn)行垃圾清理，在保證緩存命中率的前提下盡量減少緩存空間的消耗與存儲成本。

技術(shù)領(lǐng)域

本發(fā)明涉及緩存系統(tǒng)，具體的說是一種基于對象存儲的大文件分布式緩存系統(tǒng)。

背景技術(shù)

分布式緩存是很多互聯(lián)網(wǎng)項目中必不可少的東西，對熱點數(shù)據(jù)的緩存使得響應(yīng)時間減少，可以大大減輕服務(wù)的壓力。現(xiàn)有的分布式緩存中間件有Memcache、Redis等，他們擁有響應(yīng)快、可用性高等優(yōu)點，但是其只能滿足小文件的分布式緩存，當(dāng)文件增大到兆字節(jié)甚至更高的級別時，這些已有的解決方案就無法支撐了。

而現(xiàn)在互聯(lián)網(wǎng)存在著大量的多媒體壓縮、多媒體截屏等數(shù)據(jù)即時處理操作，這種處理非常耗時，產(chǎn)生的數(shù)據(jù)也符合熱點數(shù)據(jù)分布定律，因此需要對應(yīng)的分布式緩存方案。

發(fā)明內(nèi)容

本發(fā)明針對目前技術(shù)發(fā)展的需求和不足之處，提供一種基于對象存儲的大文件分布式緩存系統(tǒng)，利用對象存儲技術(shù)，滿足了大文件的分布式緩存需求。

本發(fā)明的一種基于對象存儲的大文件分布式緩存系統(tǒng)，解決上述技術(shù)問題采用的技術(shù)方案如下：

一種基于對象存儲的大文件分布式緩存系統(tǒng)，其結(jié)構(gòu)包括系統(tǒng)主體、緩存插件、對象存儲和數(shù)據(jù)庫，其運(yùn)行過程包括A、B兩部分；

A、緩存的獲取或存入：

所述緩存插件向系統(tǒng)主體發(fā)送查詢或存入請求，系統(tǒng)主體根據(jù)請求到數(shù)據(jù)庫中查詢，并返回數(shù)據(jù)庫的查詢結(jié)果，

B、緩存的自動管理：

基于緩存占有空間與觸發(fā)流轉(zhuǎn)流程閾值的比較、緩存的熱度值、緩存容量和與刪除閾值的比較，將緩存自動放入對象存儲的不同區(qū)域。

進(jìn)一步的，在A部分，緩存獲取的具體執(zhí)行流程為：

(A.1.1)緩存插件向系統(tǒng)主體發(fā)送查詢請求，

(A.1.2)系統(tǒng)主體根據(jù)請求到數(shù)據(jù)庫中查詢是否有符合條件的緩存，

(A.1.2a)如果是，則數(shù)據(jù)庫向系統(tǒng)主體返回此緩存的對象存儲地址，并將此緩存記錄的更新時間更改為此刻，同時，將刪除標(biāo)記置為false,命中次數(shù)加一，

(A.1.2b)如果否，則數(shù)據(jù)庫向系統(tǒng)主體返回空。

更進(jìn)一步的，在A部分，緩存存入的具體執(zhí)行流程為：

(A.2.1)緩存插件向系統(tǒng)主體發(fā)送查詢請求，

(A.2.2)系統(tǒng)主體根據(jù)請求到數(shù)據(jù)庫中查詢是否有同一標(biāo)簽的緩存，

(A.2.2a)如果是，則返回已經(jīng)存在的信息，

(A.2.2b)如果否，則將此緩存存入對象存儲中，并在數(shù)據(jù)庫中創(chuàng)建一條記錄。

更進(jìn)一步的，緩存在數(shù)據(jù)庫中有一一對應(yīng)的記錄，此記錄中有包含更新時間、創(chuàng)建時間、唯一標(biāo)簽、刪除標(biāo)記、對象存儲的存儲區(qū)域、對象存儲地址、命中次數(shù)。

優(yōu)選的，所涉及緩存包含大文件，還包含一個唯一性標(biāo)識此大文件的標(biāo)簽。

進(jìn)一步的，在B部分，緩存自動管理的具體執(zhí)行流程包括：