[發(fā)明專利]數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110296791.7
• 申請日: 2021-03-19
• 公開（公告）號(hào): CN113094378A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 王樹賀
• 申請（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/2455;G06F11/14;G06F9/54
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 陳蕾

本公開關(guān)于數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：在確定數(shù)據(jù)庫中保存的第一數(shù)據(jù)被更新為第二數(shù)據(jù)的情況下，生成對應(yīng)于所述第二數(shù)據(jù)的第二緩存數(shù)據(jù)并將其存儲(chǔ)在預(yù)設(shè)緩存中，所述預(yù)設(shè)緩存中還存儲(chǔ)有對應(yīng)于所述第一數(shù)據(jù)的第一緩存數(shù)據(jù)；在待響應(yīng)的信息獲取請求的數(shù)量超出數(shù)量閾值的情況下，使用所述第二緩存數(shù)據(jù)響應(yīng)預(yù)設(shè)數(shù)量的所述信息獲取請求，并使用所述第一緩存數(shù)據(jù)響應(yīng)剩余的所述信息獲取請求。該方案能夠有效避免短時(shí)間內(nèi)處理大量請求可能導(dǎo)致的緩存雪崩，一定程度上提升了數(shù)據(jù)庫系統(tǒng)的運(yùn)行穩(wěn)定性。

技術(shù)領(lǐng)域

本公開涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)階段，網(wǎng)絡(luò)電商、直播平臺(tái)、數(shù)據(jù)管理平臺(tái)等各類網(wǎng)絡(luò)業(yè)務(wù)系統(tǒng)通常使用數(shù)據(jù)庫(Database，DB)保存業(yè)務(wù)運(yùn)行過程中的業(yè)務(wù)數(shù)據(jù)。在業(yè)務(wù)數(shù)據(jù)數(shù)量較多的情況下，為避免直接操作數(shù)據(jù)庫可能導(dǎo)致的處理耗時(shí)長及數(shù)據(jù)庫損害等問題，通常在網(wǎng)絡(luò)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)庫之間設(shè)置緩存。

然而，在緩存中保存的緩存數(shù)據(jù)隨著數(shù)據(jù)庫中數(shù)據(jù)的更新而更新后，若緩存設(shè)備短時(shí)間內(nèi)接收到大量信息獲取請求，通常無法及時(shí)高效對請求進(jìn)行處理。以商品定時(shí)搶購活動(dòng)相關(guān)的項(xiàng)目為例，在刪除搶購活動(dòng)的相關(guān)人員在該項(xiàng)目中的權(quán)限數(shù)據(jù)后，若接收到該搶購活動(dòng)相關(guān)的海量的商品搶購請求，由于此時(shí)緩存中并不存在上述權(quán)限數(shù)據(jù)，則會(huì)臨時(shí)從數(shù)據(jù)庫中多次拉取上述權(quán)限信息以響應(yīng)商品搶購請求，從而導(dǎo)致數(shù)據(jù)庫可能在短時(shí)間內(nèi)接收到過多的信息拉取請求，甚至引發(fā)緩存雪崩，因此數(shù)據(jù)庫系統(tǒng)的穩(wěn)定較低。因此，如何避免請求導(dǎo)致的緩存雪崩，成為使用緩存時(shí)亟待解決的問題。

發(fā)明內(nèi)容

本公開提供了數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中的技術(shù)問題。本公開的技術(shù)方案如下：

根據(jù)本公開實(shí)施例的第一方面，提出一種數(shù)據(jù)處理方法，包括：

在確定數(shù)據(jù)庫中保存的第一數(shù)據(jù)被更新為第二數(shù)據(jù)的情況下，生成對應(yīng)于所述第二數(shù)據(jù)的第二緩存數(shù)據(jù)并將其存儲(chǔ)在預(yù)設(shè)緩存中，所述預(yù)設(shè)緩存中還存儲(chǔ)有對應(yīng)于所述第一數(shù)據(jù)的第一緩存數(shù)據(jù)；

在待響應(yīng)的信息獲取請求的數(shù)量超出數(shù)量閾值的情況下，使用所述第二緩存數(shù)據(jù)響應(yīng)預(yù)設(shè)數(shù)量的所述信息獲取請求，并使用所述第一緩存數(shù)據(jù)響應(yīng)剩余的所述信息獲取請求。

可選的，還包括：

在待響應(yīng)的信息獲取請求的數(shù)量不超出所述數(shù)量閾值的情況下，使用所述第二緩存數(shù)據(jù)響應(yīng)所述信息獲取請求。

可選的，所述數(shù)量閾值包括：

預(yù)設(shè)的數(shù)量值；或者，

根據(jù)當(dāng)前資源占用率和/或預(yù)測資源占用率確定出的最大請求處理數(shù)量。

可選的，所述在確定數(shù)據(jù)庫中保存的第一數(shù)據(jù)被更新為第二數(shù)據(jù)的情況下，生成對應(yīng)于所述第二數(shù)據(jù)的第二緩存數(shù)據(jù)，包括：

從消息隊(duì)列中獲取數(shù)據(jù)更新消息，所述數(shù)據(jù)更新消息對應(yīng)于數(shù)據(jù)庫中保存的第一數(shù)據(jù)被更新為第二數(shù)據(jù)的數(shù)據(jù)更新事件；

根據(jù)所述數(shù)據(jù)更新消息生成緩存更新事件；

對所述緩存更新事件進(jìn)行冪等校驗(yàn)，并在校驗(yàn)通過的情況下，根據(jù)所述緩存更新事件生成對應(yīng)于所述第二數(shù)據(jù)的第二緩存數(shù)據(jù)。

可選的，所述數(shù)據(jù)庫包括MySQL數(shù)據(jù)庫，所述數(shù)據(jù)更新消息被根據(jù)對應(yīng)于所述數(shù)據(jù)更新事件的binlog日志文件生成。

可選的，所述第一緩存數(shù)據(jù)被分配有第一版本號(hào)，所述方法還包括：

為所述第二緩存數(shù)據(jù)分配區(qū)別于所述第一版本號(hào)的第二版本號(hào)，其中，所述第一版本號(hào)和第二版本號(hào)被分別用于查詢所述第一緩存數(shù)據(jù)和第二緩存數(shù)據(jù)。