[發(fā)明專利]一種熱點(diǎn)數(shù)據(jù)識(shí)別和處理的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201610222207.2
• 申請(qǐng)日: 2016-04-11
• 公開（公告）號(hào): CN107291777A
• 公開（公告）日: 2017-10-24
• 發(fā)明（設(shè)計(jì)）人: 邢志佳
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京國昊天誠知識(shí)產(chǎn)權(quán)代理有限公司11315
• 代理人: 黃熊

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)更新技術(shù)領(lǐng)域，尤其涉及一種熱點(diǎn)數(shù)據(jù)識(shí)別的方法和裝置、以及一種熱點(diǎn)數(shù)據(jù)處理的方法和裝置。

背景技術(shù)

數(shù)據(jù)庫事務(wù)(Database Transaction)，是指作為單個(gè)邏輯工作單元執(zhí)行的一系列操作。在執(zhí)行數(shù)據(jù)庫事務(wù)時(shí)，往往需要對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行更新。

當(dāng)出現(xiàn)多個(gè)用戶執(zhí)行相同的數(shù)據(jù)庫事務(wù)時(shí)，可能會(huì)出現(xiàn)數(shù)據(jù)庫中單條數(shù)據(jù)被并發(fā)更新的情況。當(dāng)數(shù)據(jù)更新的TPS(每秒事務(wù)處理量)達(dá)到一定的閾值時(shí)，這條數(shù)據(jù)就成為了熱點(diǎn)數(shù)據(jù)。這種數(shù)據(jù)在應(yīng)用中常常會(huì)引起系統(tǒng)在持久化存儲(chǔ)的操作上付出更多的資源，進(jìn)而引起系統(tǒng)的穩(wěn)定性風(fēng)險(xiǎn)。

傳統(tǒng)方法在識(shí)別熱點(diǎn)數(shù)據(jù)時(shí)，可以在做業(yè)務(wù)需求時(shí)預(yù)先分析出來哪些數(shù)據(jù)可能出現(xiàn)并發(fā)更新的情況，將其作為熱點(diǎn)數(shù)據(jù)加以處理。這種方法難以預(yù)估出所有的熱點(diǎn)數(shù)據(jù)，當(dāng)出現(xiàn)新的熱點(diǎn)數(shù)據(jù)時(shí)，仍然會(huì)存在系統(tǒng)穩(wěn)定性風(fēng)險(xiǎn)。

傳統(tǒng)方法識(shí)別熱點(diǎn)數(shù)據(jù)時(shí)，也可以通過事務(wù)執(zhí)行的日志來尋找是否出現(xiàn)了新的熱點(diǎn)數(shù)據(jù)，以便告知系統(tǒng)新熱點(diǎn)數(shù)據(jù)的產(chǎn)生。這種方法的主要缺陷在于：在并發(fā)事務(wù)執(zhí)行完畢后才通過日志來識(shí)別熱點(diǎn)數(shù)據(jù)，因此，對(duì)于熱點(diǎn)數(shù)據(jù)的識(shí)別速度不夠快；并且在并發(fā)事務(wù)的執(zhí)行過程中已經(jīng)產(chǎn)生了系統(tǒng)穩(wěn)定性風(fēng)險(xiǎn)，所以對(duì)于穩(wěn)定性風(fēng)險(xiǎn)問題的解決也已滯后。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的問題，本申請(qǐng)?zhí)峁┝艘环N熱點(diǎn)數(shù)據(jù)識(shí)別的方法和裝置、以及一種熱點(diǎn)數(shù)據(jù)處理的方法和裝置，旨在實(shí)現(xiàn)在熱點(diǎn)即將產(chǎn)生的過程中快速的識(shí)別出熱點(diǎn)數(shù)據(jù)，從而及時(shí)解決系統(tǒng)的穩(wěn)定性風(fēng)險(xiǎn)問題。

為了解決上述問題，本申請(qǐng)實(shí)施例提供了一種熱點(diǎn)數(shù)據(jù)的識(shí)別方法，所 述方法包括：

接收應(yīng)用系統(tǒng)發(fā)送的熱點(diǎn)數(shù)據(jù)識(shí)別通知，所述熱點(diǎn)數(shù)據(jù)識(shí)別通知中包含待識(shí)別數(shù)據(jù)的標(biāo)識(shí)信息；

根據(jù)所述待識(shí)別數(shù)據(jù)的標(biāo)識(shí)信息，統(tǒng)計(jì)在設(shè)定時(shí)間周期內(nèi)所述待識(shí)別數(shù)據(jù)在數(shù)據(jù)庫中的更新次數(shù)；

若所述更新次數(shù)大于設(shè)定閾值，則確定所述待識(shí)別數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)。

作為優(yōu)選，本申請(qǐng)實(shí)施例中，所述待識(shí)別數(shù)據(jù)在數(shù)據(jù)庫中的更新操作同步至分布式緩存中；根據(jù)所述待識(shí)別數(shù)據(jù)的標(biāo)識(shí)信息，統(tǒng)計(jì)在設(shè)定時(shí)間周期內(nèi)所述待識(shí)別數(shù)據(jù)在數(shù)據(jù)庫中的更新次數(shù)，包括：

根據(jù)所述待識(shí)別數(shù)據(jù)的標(biāo)識(shí)信息，統(tǒng)計(jì)在設(shè)定時(shí)間周期內(nèi)所述待識(shí)別數(shù)據(jù)在所述分布式緩存中的更新次數(shù)。

作為優(yōu)選，本申請(qǐng)實(shí)施例中，統(tǒng)計(jì)在設(shè)定時(shí)間周期內(nèi)所述待識(shí)別數(shù)據(jù)在數(shù)據(jù)庫中的更新次數(shù)的操作與所述待識(shí)別數(shù)據(jù)在數(shù)據(jù)庫中執(zhí)行更新的操作通過不同線程執(zhí)行。

作為優(yōu)選，本申請(qǐng)實(shí)施例中，所述方法還包括：在確定所述待識(shí)別數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)時(shí)，向所述應(yīng)用系統(tǒng)發(fā)送熱點(diǎn)數(shù)據(jù)識(shí)別響應(yīng)通知，所述熱點(diǎn)數(shù)據(jù)識(shí)別響應(yīng)通知用于向所述應(yīng)用系統(tǒng)確認(rèn)所述待識(shí)別數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)。

為了解決上述問題，本申請(qǐng)實(shí)施例還提供了一種一種熱點(diǎn)數(shù)據(jù)的處理方法，所述方法包括：

獲取待處理數(shù)據(jù)；

在確定所述待處理數(shù)據(jù)為準(zhǔn)熱點(diǎn)數(shù)據(jù)時(shí)，向熱點(diǎn)數(shù)據(jù)識(shí)別組件發(fā)送熱點(diǎn)數(shù)據(jù)識(shí)別通知，所述熱點(diǎn)數(shù)據(jù)識(shí)別通知中包含待識(shí)別數(shù)據(jù)的標(biāo)識(shí)信息，所述熱點(diǎn)數(shù)據(jù)識(shí)別通知用于請(qǐng)求所述熱點(diǎn)數(shù)據(jù)識(shí)別組件對(duì)所述待處理數(shù)據(jù)是否是熱點(diǎn)數(shù)據(jù)進(jìn)行識(shí)別。

作為優(yōu)選，本申請(qǐng)實(shí)施例中，所述方法還包括：

接收熱點(diǎn)數(shù)據(jù)識(shí)別組件發(fā)送的熱點(diǎn)數(shù)據(jù)識(shí)別響應(yīng)通知，所述熱點(diǎn)數(shù)據(jù)識(shí)別響應(yīng)通知用于確認(rèn)所述待處理數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)；

根據(jù)所述熱點(diǎn)數(shù)據(jù)識(shí)別響應(yīng)通知，確定所述待處理數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)。

作為優(yōu)選，本申請(qǐng)實(shí)施例中，所述方法還包括：

在確定所述待處理數(shù)據(jù)為熱點(diǎn)數(shù)據(jù)時(shí)，采用設(shè)定更新方式對(duì)所述待處理數(shù)據(jù)進(jìn)行更新處理。

作為優(yōu)選，本申請(qǐng)實(shí)施例中，采用設(shè)定更新方式對(duì)所述待處理數(shù)據(jù)進(jìn)行更新處理，包括：

依次記錄所述待處理數(shù)據(jù)的更新請(qǐng)求，形成更新請(qǐng)求流水信息；

將所述待處理數(shù)據(jù)的更新數(shù)據(jù)依次緩沖存入所述數(shù)據(jù)庫的空閑空間中；

在所述數(shù)據(jù)庫中，依據(jù)所述更新請(qǐng)求流水信息，用緩沖存入所述數(shù)據(jù)庫的空閑空間中的所述更新數(shù)據(jù)依次更新所述待處理數(shù)據(jù)。

作為優(yōu)選，本申請(qǐng)實(shí)施例中，依據(jù)所述更新請(qǐng)求流水信息，用緩沖存入所述數(shù)據(jù)庫的空閑空間中的所述更新數(shù)據(jù)依次更新所述需更新的數(shù)據(jù)的操作與將所述待處理數(shù)據(jù)的更新數(shù)據(jù)依次緩沖存入所述數(shù)據(jù)庫的空閑空間中的操作通過不同線程執(zhí)行。

作為優(yōu)選，本申請(qǐng)實(shí)施例中，采用設(shè)定更新方式對(duì)所述待處理數(shù)據(jù)進(jìn)行

更新處理，包括：

將所述待處理數(shù)據(jù)拆分成多個(gè)待處理子數(shù)據(jù)；

用所述待處理數(shù)據(jù)的更新數(shù)據(jù)按照預(yù)定規(guī)則更新所述待處理子數(shù)據(jù)。