[發(fā)明專(zhuān)利]基于緩存的數(shù)據(jù)處理方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811267137.8
• 申請(qǐng)日: 2018-10-29
• 公開(kāi)（公告）號(hào): CN109558421A
• 公開(kāi)（公告）日: 2019-04-02
• 發(fā)明（設(shè)計(jì)）人: 曹廣平;陳大平;鄧勝輝
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)建設(shè)銀行股份有限公司
• 主分類(lèi)號(hào): G06F16/2455
• 分類(lèi)號(hào): G06F16/2455;G06F16/2453
• 代理公司: 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫

本發(fā)明公開(kāi)了一種基于緩存的數(shù)據(jù)處理方法，所述方法包括：接收請(qǐng)求端發(fā)送的查詢(xún)請(qǐng)求；根據(jù)所述查詢(xún)請(qǐng)求查找緩存；若查找到目標(biāo)數(shù)據(jù)，向所述請(qǐng)求端返回所述目標(biāo)數(shù)據(jù)，若未查找到所述目標(biāo)數(shù)據(jù)，根據(jù)所述查詢(xún)請(qǐng)求查找數(shù)據(jù)庫(kù)，在所述數(shù)據(jù)庫(kù)中查找到所述目標(biāo)數(shù)據(jù)后計(jì)算所述目標(biāo)數(shù)據(jù)的版本值，將所述目標(biāo)數(shù)據(jù)和所述版本值存入緩存并向所述請(qǐng)求端返回所述目標(biāo)數(shù)據(jù)。本發(fā)明的方法通過(guò)將被頻繁訪問(wèn)的數(shù)據(jù)加載到緩存，在需要使用該數(shù)據(jù)時(shí)，直接從緩存中讀取，提升了處理性能；同時(shí)，根據(jù)數(shù)據(jù)變化情況動(dòng)態(tài)同步刷新變化的數(shù)據(jù)，保持?jǐn)?shù)據(jù)庫(kù)與緩存的一致性，且配置靈活，刷新成本低，減輕了數(shù)據(jù)庫(kù)的負(fù)擔(dān)。

技術(shù)領(lǐng)域

本發(fā)明涉及批量計(jì)費(fèi)處理領(lǐng)域，更為具體而言，涉及一種基于緩存的數(shù)據(jù)處理方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著信息技術(shù)日新月異的發(fā)展，互聯(lián)網(wǎng)及移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，傳統(tǒng)銀行業(yè)務(wù)在互聯(lián)網(wǎng)上的使用越來(lái)越頻繁，其中，銀行渠道整合系統(tǒng)作為前端渠道系統(tǒng)的統(tǒng)一接入，實(shí)現(xiàn)將渠道的交易請(qǐng)求統(tǒng)一發(fā)送到后端的產(chǎn)品系統(tǒng)進(jìn)行交易，是銀行業(yè)務(wù)工作中不可缺少的一環(huán)。但是，面對(duì)大量用戶(hù)訪問(wèn)及高并發(fā)請(qǐng)求，導(dǎo)致整合系統(tǒng)的處理性能低下，降低了用戶(hù)體驗(yàn)。面對(duì)上述情況，基本的解決方案集中在這樣幾個(gè)環(huán)節(jié)：服務(wù)器集群化部署、水平切分的數(shù)據(jù)庫(kù)集群和高效率的編程語(yǔ)言。但是，這幾個(gè)解決思路在一定程度上意味著更大的投入。

目前，對(duì)于大量用戶(hù)訪問(wèn)及高并發(fā)請(qǐng)求的情況，由于壓力絕大部分處于數(shù)據(jù)庫(kù)端，且絕大部分針對(duì)的是“查”的場(chǎng)景。在常見(jiàn)的應(yīng)用中，數(shù)據(jù)庫(kù)層次的壓力有80％的是查詢(xún)，20％的才是數(shù)據(jù)的變更操作，傳統(tǒng)方法中往往利用分庫(kù)分表等技術(shù)的水平切分?jǐn)?shù)據(jù)庫(kù)集群實(shí)現(xiàn)在一定程度上突破單節(jié)點(diǎn)數(shù)據(jù)庫(kù)服務(wù)器的I/O能力限制，解決數(shù)據(jù)庫(kù)擴(kuò)展性問(wèn)題。但是該方法成本高，且切分?jǐn)?shù)據(jù)庫(kù)也會(huì)導(dǎo)致出現(xiàn)散點(diǎn)裝的空白區(qū)域，這意味著大量資源的浪費(fèi)。

同時(shí)，由于系統(tǒng)有很大一部分?jǐn)?shù)據(jù)庫(kù)頻繁操作是可以在服務(wù)器通過(guò)緩存來(lái)代替，可以通過(guò)將數(shù)據(jù)存放在緩存中，以減少對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)，從而降低數(shù)據(jù)庫(kù)的壓力。現(xiàn)有的緩存技術(shù)中的一種是只把數(shù)據(jù)加載到緩存中供應(yīng)用靜態(tài)訪問(wèn)，緩存數(shù)據(jù)無(wú)法和數(shù)據(jù)庫(kù)同步更新，使用具有局限性；一種是加載到緩存中的同時(shí)，通過(guò)定時(shí)任務(wù)刷新全量數(shù)據(jù)，以保持?jǐn)?shù)據(jù)的一致性，如此操作的缺點(diǎn)是要定時(shí)全量同步刷新操作，加大了服務(wù)器負(fù)擔(dān)。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，本發(fā)明提供了一種基于緩存的數(shù)據(jù)處理方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)，通過(guò)將被頻繁訪問(wèn)的數(shù)據(jù)加載到緩存，并動(dòng)態(tài)刷新變化的數(shù)據(jù)，以獲取更高的處理性能和進(jìn)一步減輕數(shù)據(jù)庫(kù)訪問(wèn)負(fù)擔(dān)。

根據(jù)本發(fā)明的實(shí)施方式，提供了一種基于緩存的數(shù)據(jù)處理方法，所述方法包括：接收請(qǐng)求端發(fā)送的查詢(xún)請(qǐng)求；根據(jù)所述查詢(xún)請(qǐng)求查找緩存；若查找到目標(biāo)數(shù)據(jù)，向所述請(qǐng)求端返回所述目標(biāo)數(shù)據(jù)，若未查找到所述目標(biāo)數(shù)據(jù)，根據(jù)所述查詢(xún)請(qǐng)求查找數(shù)據(jù)庫(kù)，在所述數(shù)據(jù)庫(kù)中查找到所述目標(biāo)數(shù)據(jù)后計(jì)算所述目標(biāo)數(shù)據(jù)的版本值，將所述目標(biāo)數(shù)據(jù)和所述版本值存入緩存并向所述請(qǐng)求端返回所述目標(biāo)數(shù)據(jù)。

在本發(fā)明的一些實(shí)施方式中，所述方法還包括：在所述數(shù)據(jù)庫(kù)中查找到所述目標(biāo)數(shù)據(jù)后，將所述目標(biāo)數(shù)據(jù)的配置信息存入緩存配置表；其中，所述配置信息包括版本值。

在本發(fā)明的一些實(shí)施方式中，所述方法還包括：計(jì)算所述緩存配置表中記錄的數(shù)據(jù)的版本值；若所述數(shù)據(jù)有變更，更新所述緩存配置表中所述數(shù)據(jù)的版本值。

在本發(fā)明的一些實(shí)施方式中，所述方法還包括：對(duì)比所述緩存中的數(shù)據(jù)在所述緩存中的版本值與在所述緩存配置表中的版本值；若不一致，更新所述緩存中的所述數(shù)據(jù)，同時(shí)將所述緩存配置表中的版本值存入所述緩存。

在本發(fā)明的一些實(shí)施方式中，所述版本值為MD5值。