[發(fā)明專利]數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910363333.3
• 申請(qǐng)日: 2019-04-30
• 公開（公告）號(hào): CN111858516A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 賀廣南
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/176
• 分類號(hào): G06F16/176;G06F16/172;G06F16/16;G06F16/18
• 代理公司: 北京清源匯知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11644
• 代理人: 馮德魁;竇曉慧

本申請(qǐng)公開了一種數(shù)據(jù)處理方法及裝置，該方法包括：獲得目標(biāo)事務(wù)日志；在重放區(qū)域中對(duì)目標(biāo)事務(wù)日志進(jìn)行重放處理，獲得目標(biāo)數(shù)據(jù)，重放區(qū)域用于存儲(chǔ)對(duì)事務(wù)日志進(jìn)行重放處理后得到的數(shù)據(jù)。通過使用該方法，可避免在共享緩沖區(qū)中生成大量不被查詢的、且占用共享緩沖區(qū)的存儲(chǔ)空間的數(shù)據(jù)頁(yè)，提高數(shù)據(jù)庫(kù)服務(wù)器的查詢性能；并且，在重放區(qū)域?qū)κ聞?wù)日志進(jìn)行重放處理，使得共享緩沖區(qū)中的進(jìn)程減少，降低對(duì)數(shù)據(jù)庫(kù)服務(wù)器的性能影響。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及數(shù)據(jù)處理方法。本申請(qǐng)同時(shí)涉及數(shù)據(jù)處理裝置以及電子設(shè)備。

背景技術(shù)

數(shù)據(jù)庫(kù)集群服務(wù)需要考慮高可用和高性能，為了確保高可用，數(shù)據(jù)庫(kù)集群大多采用一主多從架構(gòu)。在一主多從的架構(gòu)下，從數(shù)據(jù)庫(kù)服務(wù)器要跟主數(shù)據(jù)庫(kù)服務(wù)器保持?jǐn)?shù)據(jù)同步。現(xiàn)有的數(shù)據(jù)同步方式一般通過物理復(fù)制完成，即，從數(shù)據(jù)庫(kù)服務(wù)器通過共享緩沖區(qū)重放主數(shù)據(jù)庫(kù)服務(wù)器的事務(wù)日志來保持?jǐn)?shù)據(jù)同步。

然而，現(xiàn)有的主、從數(shù)據(jù)庫(kù)服務(wù)器的物理復(fù)制方法存在以下不足：

在共享緩沖區(qū)中對(duì)事務(wù)日志進(jìn)行重放處理，可在共享緩沖區(qū)中生成大量不被查詢的數(shù)據(jù)頁(yè)，占用共享緩沖區(qū)的存儲(chǔ)空間，然而，共享緩沖區(qū)的空間是有限的，在共享緩沖區(qū)的存儲(chǔ)空間達(dá)到下限時(shí)，需要多次執(zhí)行數(shù)據(jù)頁(yè)淘汰算法，并需要多次將數(shù)據(jù)頁(yè)刷出到磁盤，會(huì)影響數(shù)據(jù)庫(kù)服務(wù)器的查詢性能；并且，由于數(shù)據(jù)庫(kù)服務(wù)器運(yùn)行時(shí)需要的隔離性和MVCC一致性，因此，在共享緩沖區(qū)中響應(yīng)數(shù)據(jù)查詢和對(duì)事務(wù)日志進(jìn)行重放處理時(shí)需要加各種不同類型的鎖，響應(yīng)數(shù)據(jù)查詢和對(duì)事務(wù)日志進(jìn)行重放處理的進(jìn)程越多，對(duì)數(shù)據(jù)庫(kù)服務(wù)器的性能影響就會(huì)越大。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法，以解決現(xiàn)有在共享緩沖區(qū)中對(duì)事務(wù)日志進(jìn)行重放處理，影響數(shù)據(jù)庫(kù)服務(wù)器的性能的問題。本申請(qǐng)另外提供一種數(shù)據(jù)處理裝置以及一種電子設(shè)備。本申請(qǐng)還提供一種數(shù)據(jù)處理方法、一種數(shù)據(jù)處理裝置以及一種電子設(shè)備。本申請(qǐng)還提供一種數(shù)據(jù)處理方法、一種數(shù)據(jù)處理裝置以及一種電子設(shè)備。本申請(qǐng)另外提供一種數(shù)據(jù)處理方法、一種數(shù)據(jù)處理裝置以及一種電子設(shè)備。

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法，包括：

獲得目標(biāo)事務(wù)日志；

在重放區(qū)域中對(duì)所述目標(biāo)事務(wù)日志進(jìn)行重放處理，獲得目標(biāo)數(shù)據(jù)，所述重放區(qū)域用于存儲(chǔ)對(duì)事務(wù)日志進(jìn)行重放處理后得到的數(shù)據(jù)。

可選的，所述目標(biāo)事務(wù)日志記錄有數(shù)據(jù)處理信息；

所述在重放區(qū)域中對(duì)所述目標(biāo)事務(wù)日志進(jìn)行重放處理，獲得目標(biāo)數(shù)據(jù)，包括：

獲得所述重放區(qū)域中的頁(yè)面；

基于所述頁(yè)面，按照所述數(shù)據(jù)處理信息進(jìn)行數(shù)據(jù)處理，獲得所述目標(biāo)數(shù)據(jù)。

可選的，所述基于所述頁(yè)面，按照所述數(shù)據(jù)處理信息進(jìn)行數(shù)據(jù)處理，獲得所述目標(biāo)數(shù)據(jù)，包括：在所述頁(yè)面上按照所述數(shù)據(jù)處理信息進(jìn)行數(shù)據(jù)處理，生成目標(biāo)數(shù)據(jù)頁(yè)。

可選的，所述目標(biāo)事務(wù)日志記錄有數(shù)據(jù)處理信息；

所述方法還包括：判斷共享緩沖區(qū)中是否存儲(chǔ)有所述數(shù)據(jù)處理信息對(duì)應(yīng)的數(shù)據(jù)；

所述在重放區(qū)域中對(duì)所述目標(biāo)事務(wù)日志進(jìn)行重放處理，獲得目標(biāo)數(shù)據(jù)，包括：如果所述共享緩沖區(qū)中未存儲(chǔ)有所述數(shù)據(jù)處理信息對(duì)應(yīng)的數(shù)據(jù)，則在重放區(qū)域中對(duì)所述目標(biāo)事務(wù)日志進(jìn)行重放處理，獲得目標(biāo)數(shù)據(jù)。

可選的，所述判斷共享緩沖區(qū)中是否存儲(chǔ)有所述數(shù)據(jù)處理信息對(duì)應(yīng)的數(shù)據(jù)，包括：判斷所述共享緩沖區(qū)中是否存儲(chǔ)有所述數(shù)據(jù)處理信息對(duì)應(yīng)的數(shù)據(jù)頁(yè)；

所述如果所述共享緩沖區(qū)中未存儲(chǔ)有所述數(shù)據(jù)處理信息對(duì)應(yīng)的數(shù)據(jù)，則在重放區(qū)域中對(duì)所述目標(biāo)事務(wù)日志進(jìn)行重放處理，獲得目標(biāo)數(shù)據(jù)，包括：如果所述共享緩沖區(qū)中未存儲(chǔ)有所述數(shù)據(jù)處理信息對(duì)應(yīng)的數(shù)據(jù)頁(yè)，則在重放區(qū)域中對(duì)所述目標(biāo)事務(wù)日志進(jìn)行重放處理，生成目標(biāo)數(shù)據(jù)頁(yè)。