[發(fā)明專利]數(shù)據(jù)庫(kù)中歷史數(shù)據(jù)的處理方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011426584.0
• 申請(qǐng)日: 2020-12-09
• 公開（公告）號(hào): CN112380193A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 李年
• 申請(qǐng)（專利權(quán)）人: 北京海量數(shù)據(jù)技術(shù)股份有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/215;G06F16/22
• 代理公司: 北京尚鉞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11723
• 代理人: 王海榮

本發(fā)明提供數(shù)據(jù)庫(kù)中歷史數(shù)據(jù)的處理方法、裝置及系統(tǒng)，該方法包括：在創(chuàng)建新的數(shù)據(jù)庫(kù)時(shí)，同時(shí)創(chuàng)建獨(dú)立的歷史表空間，所述歷史表空間用于存儲(chǔ)歷史版本數(shù)據(jù)和事務(wù)信息；執(zhí)行Vacuum進(jìn)程時(shí)，直接訪問所述歷史表空間來清除過期數(shù)據(jù)。本發(fā)明能提高過期數(shù)據(jù)的清理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)庫(kù)中歷史數(shù)據(jù)的處理方法、裝置及系統(tǒng)。

背景技術(shù)

在openGauss和PostgreSQL中，刪除只是標(biāo)記數(shù)據(jù)為刪除標(biāo)志，所以需要vacuum來定期清理過期數(shù)據(jù)。但由于數(shù)據(jù)庫(kù)只保留了事務(wù)標(biāo)記信息，vacuum必須掃描所有的數(shù)據(jù)文件的數(shù)據(jù)塊來處理這個(gè)問題。因此vacuum對(duì)數(shù)據(jù)量大的表非常慢，而且vacuum凍結(jié)結(jié)束前不允許執(zhí)行新事務(wù)，導(dǎo)致極端情況下在vacuum凍結(jié)時(shí)全庫(kù)不可用。在openGauss和PostgreSQL中vacuum進(jìn)程經(jīng)常造成數(shù)據(jù)庫(kù)負(fù)載過大甚至不可用的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種數(shù)據(jù)庫(kù)中歷史數(shù)據(jù)的處理方法、裝置及系統(tǒng)，能提高過期數(shù)據(jù)的清理效率。

一方面，本發(fā)明提供一種數(shù)據(jù)庫(kù)中歷史數(shù)據(jù)的處理方法，包括：在創(chuàng)建新的數(shù)據(jù)庫(kù)時(shí)，同時(shí)創(chuàng)建獨(dú)立的歷史表空間，所述歷史表空間用于存儲(chǔ)歷史版本數(shù)據(jù)和事務(wù)信息；

執(zhí)行Vacuum進(jìn)程時(shí)，直接訪問所述歷史表空間來清除過期數(shù)據(jù)。

進(jìn)一步地，在同時(shí)創(chuàng)建獨(dú)立的歷史表空間的步驟之后包括：

接收用戶的歷史表空間管理信息，并根據(jù)所述歷史表空間管理信息調(diào)整所述歷史表空間的大小。

進(jìn)一步地，在同時(shí)創(chuàng)建獨(dú)立的歷史表空間的步驟之后包括：

在收到用戶的SQL處理信息時(shí)，記錄SQL處理之前的歷史版本數(shù)據(jù)和事務(wù)信息至所述歷史表空間。

進(jìn)一步地，在同時(shí)創(chuàng)建獨(dú)立的歷史表空間的步驟之后包括：

接收事務(wù)回滾信息，根據(jù)所述事實(shí)回滾信息中的事務(wù)在所述歷史表空間的數(shù)據(jù)信息，回滾所述事務(wù)的數(shù)據(jù)改變；

數(shù)據(jù)庫(kù)在事務(wù)中斷后重啟恢復(fù)時(shí)，讀取所述中斷的事務(wù)在所述歷史表空間中的數(shù)據(jù)信息，并回滾所述中斷的事務(wù)的數(shù)據(jù)改變；

在第一事務(wù)在改變目標(biāo)位置的數(shù)據(jù)，并且第二事務(wù)開始讀取所述目標(biāo)位置的數(shù)據(jù)時(shí)，數(shù)據(jù)庫(kù)根據(jù)歷史表空間的事務(wù)信息，僅允許所述第二事務(wù)獲取開始讀取所述目標(biāo)位置的數(shù)據(jù)時(shí)間之前的所述目標(biāo)位置的數(shù)據(jù)。

進(jìn)一步地，在同時(shí)創(chuàng)建獨(dú)立的歷史表空間的步驟之后包括：

在收到包括改變目標(biāo)數(shù)據(jù)請(qǐng)求的事務(wù)信息后，若收到用于查詢所述目標(biāo)數(shù)據(jù)改變之前的數(shù)據(jù)值的請(qǐng)求，且確認(rèn)所述歷史表空間存有目標(biāo)數(shù)據(jù)改變之前的數(shù)據(jù)值，則通過SQL語句從所述歷史表空間獲取所述目標(biāo)數(shù)據(jù)改變之前的數(shù)據(jù)值。

再一方面，本發(fā)明還提供一種數(shù)據(jù)庫(kù)中歷史數(shù)據(jù)的處理裝置，包括：

歷史表空間創(chuàng)建模塊，用于在創(chuàng)建新的數(shù)據(jù)庫(kù)時(shí)，同時(shí)創(chuàng)建獨(dú)立的歷史表空間，所述歷史表空間用于存儲(chǔ)歷史版本數(shù)據(jù)和事務(wù)信息；

Vacuum模塊，用于執(zhí)行時(shí)，直接訪問所述歷史表空間來清除過期數(shù)據(jù)。

進(jìn)一步地，所述的數(shù)據(jù)庫(kù)中歷史數(shù)據(jù)的處理裝置，其特征在于，還包括：

歷史表空間管理模塊，用于接收用戶的歷史表空間管理信息，并根據(jù)所述歷史表空間管理信息調(diào)整所述歷史表空間的大小；

SQL模塊，用于在收到用戶的SQL處理信息時(shí)，記錄SQL處理之前的歷史版本數(shù)據(jù)和事務(wù)信息至所述歷史表空間。

進(jìn)一步地，所述的數(shù)據(jù)庫(kù)中歷史數(shù)據(jù)的處理裝置，其特征在于，還包括：