[發(fā)明專利]應(yīng)對(duì)大流量數(shù)據(jù)的多級(jí)緩存方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110316042.6
• 申請(qǐng)日: 2021-03-25
• 公開（公告）號(hào): CN112699154B
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 許秀雷
• 申請(qǐng)（專利權(quán)）人: 上海洋漪信息技術(shù)有限公司;上海洋碼頭網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455
• 代理公司: 上海天協(xié)和誠(chéng)知識(shí)產(chǎn)權(quán)代理事務(wù)所 31216
• 代理人: 沈國(guó)良

1.一種應(yīng)對(duì)大流量數(shù)據(jù)的多級(jí)緩存方法，其特征在于：本方法包括如下步驟，

步驟一、初始化建立不同類型的緩存，并根據(jù)終端用戶的距離遠(yuǎn)近進(jìn)行緩存等級(jí)分類，緩存類型包括APP客戶端本地緩存、業(yè)務(wù)網(wǎng)關(guān)緩存、服務(wù)器單元節(jié)點(diǎn)本地緩存、遠(yuǎn)程集中式數(shù)據(jù)緩存；

步驟二、系統(tǒng)通過所提供的對(duì)外服務(wù)，接收外部提交的大流量緩存數(shù)據(jù)，大流量緩存數(shù)據(jù)包括數(shù)據(jù)基礎(chǔ)信息和數(shù)據(jù)內(nèi)容信息，其中，數(shù)據(jù)基礎(chǔ)信息包括數(shù)據(jù)的終端APP標(biāo)記、用戶ID、IP、系統(tǒng)描述生成時(shí)間；

步驟三、將大流量緩存數(shù)據(jù)進(jìn)行前置數(shù)據(jù)處理和后置數(shù)據(jù)處理，完成緩存數(shù)據(jù)的分片和分級(jí)，產(chǎn)生緩存數(shù)據(jù)版本標(biāo)識(shí)和時(shí)間標(biāo)記；

步驟四、根據(jù)緩存數(shù)據(jù)的分片和分級(jí)，若緩存數(shù)據(jù)涉及用戶展示頁面相關(guān)，存入APP客戶端的本地內(nèi)存緩存，若緩存數(shù)據(jù)涉及后臺(tái)服務(wù)數(shù)據(jù)，則存儲(chǔ)到相對(duì)應(yīng)的應(yīng)用服務(wù)器節(jié)點(diǎn)；

步驟五、經(jīng)過路由處理后的緩存數(shù)據(jù)，復(fù)制一份緩存數(shù)據(jù)副本，異步提交到數(shù)據(jù)處理隊(duì)列，更新到遠(yuǎn)程集中式數(shù)據(jù)緩存以及后臺(tái)數(shù)據(jù)庫；

步驟六、根據(jù)緩存數(shù)據(jù)版本標(biāo)識(shí)和時(shí)間標(biāo)記，對(duì)緩存數(shù)據(jù)進(jìn)行定時(shí)存儲(chǔ)處理、定時(shí)更新并清除失效緩存數(shù)據(jù)，檢查不同級(jí)別緩存數(shù)據(jù)的一致性；

步驟七、當(dāng)系統(tǒng)用戶對(duì)緩存數(shù)據(jù)進(jìn)行訪問讀取時(shí)，根據(jù)緩存數(shù)據(jù)的讀取路由處理規(guī)則，按照不同的緩存數(shù)據(jù)分級(jí)方式，進(jìn)行緩存數(shù)據(jù)的訪問。

2.根據(jù)權(quán)利要求1所述的應(yīng)對(duì)大流量數(shù)據(jù)的多級(jí)緩存方法，其特征在于：所述步驟一中，根據(jù)終端用戶的距離遠(yuǎn)近進(jìn)行緩存等級(jí)分類是根據(jù)數(shù)據(jù)從用戶終端到服務(wù)器、再到后臺(tái)數(shù)據(jù)庫的上送和回傳的傳輸距離遠(yuǎn)近，將平臺(tái)的緩存數(shù)據(jù)分為用戶APP客戶端的一級(jí)緩存、業(yè)務(wù)網(wǎng)關(guān)的二級(jí)緩存、服務(wù)器單元節(jié)點(diǎn)本地三級(jí)緩存以及遠(yuǎn)程集中式數(shù)據(jù)緩存，用戶終端的緩存數(shù)據(jù)根據(jù)一級(jí)緩存、二級(jí)緩存和三級(jí)緩存的順序讀取和存儲(chǔ)。

3.根據(jù)權(quán)利要求1所述的應(yīng)對(duì)大流量數(shù)據(jù)的多級(jí)緩存方法，其特征在于：所述步驟三中，前置數(shù)據(jù)處理的規(guī)則是將緩存數(shù)據(jù)按照終端APP標(biāo)記、用戶ID、區(qū)域位置、數(shù)據(jù)時(shí)間標(biāo)記進(jìn)行基礎(chǔ)分類，創(chuàng)建對(duì)應(yīng)處理作業(yè)；

緩存數(shù)據(jù)分級(jí)規(guī)則是解析流量緩存數(shù)據(jù)里的系統(tǒng)描述信息，根據(jù)系統(tǒng)進(jìn)行重要性分級(jí)；

緩存數(shù)據(jù)分片規(guī)則是將緩存數(shù)據(jù)根據(jù)終端APP標(biāo)記、用戶ID、區(qū)域位置信息進(jìn)行Hash，然后取模，形成數(shù)據(jù)片，經(jīng)過分片后的緩存數(shù)據(jù)，形成分片緩存數(shù)據(jù)信息、緩存數(shù)據(jù)版本標(biāo)識(shí)和時(shí)間標(biāo)記的基本緩存數(shù)據(jù)結(jié)構(gòu)；

后置數(shù)據(jù)處理規(guī)則是緩存數(shù)據(jù)分片處理完成后，為保證緩存數(shù)據(jù)的有效性，根據(jù)緩存數(shù)據(jù)重要性分級(jí)進(jìn)行異步存儲(chǔ)處理，緩存數(shù)據(jù)重要性決定了緩存數(shù)據(jù)異步存儲(chǔ)的先后順序，重要性高的優(yōu)先存儲(chǔ)，并上送到遠(yuǎn)程集中式數(shù)據(jù)緩存。

4.根據(jù)權(quán)利要求3所述的應(yīng)對(duì)大流量數(shù)據(jù)的多級(jí)緩存方法，其特征在于：所述數(shù)據(jù)時(shí)間標(biāo)記按數(shù)據(jù)流量大小設(shè)定，一般緩存數(shù)據(jù)流量的數(shù)據(jù)時(shí)間標(biāo)記設(shè)定為分鐘級(jí)，大緩存數(shù)據(jù)流量的數(shù)據(jù)時(shí)間標(biāo)記設(shè)定為秒級(jí)，更大緩存數(shù)據(jù)流量的數(shù)據(jù)時(shí)間標(biāo)記設(shè)定為毫秒級(jí)。

5.根據(jù)權(quán)利要求1所述的應(yīng)對(duì)大流量數(shù)據(jù)的多級(jí)緩存方法，其特征在于：所述步驟六中，不同級(jí)別緩存數(shù)據(jù)一致性的檢查包括；根據(jù)緩存類型，優(yōu)先檢查后臺(tái)數(shù)據(jù)庫和遠(yuǎn)程集中式數(shù)據(jù)緩存的數(shù)據(jù)一致性，判斷存儲(chǔ)的緩存數(shù)據(jù)版本、時(shí)間標(biāo)記是否一致，如果不一致，則與服務(wù)器單元節(jié)點(diǎn)本地緩存核對(duì)，如三者中兩個(gè)相同，則取該緩存數(shù)據(jù)為更新的緩存數(shù)據(jù)，如三者均不相同，則要求調(diào)用用戶終端的緩存數(shù)據(jù)，以用戶終端的緩存數(shù)據(jù)為更新的緩存數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的應(yīng)對(duì)大流量數(shù)據(jù)的多級(jí)緩存方法，其特征在于：所述步驟七中，緩存數(shù)據(jù)的讀取路由處理規(guī)則為優(yōu)先訪問APP客戶端本地緩存，并與業(yè)務(wù)網(wǎng)關(guān)緩存判斷緩存數(shù)據(jù)的時(shí)間標(biāo)記和版本，不一致則更新APP客戶端本地緩存，業(yè)務(wù)網(wǎng)關(guān)緩存請(qǐng)求判斷APP客戶端本地緩存中緩存數(shù)據(jù)的時(shí)間標(biāo)記和版本。