[發(fā)明專利]數(shù)據(jù)緩存方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011607295.0
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112698789B
• 公開(kāi)（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 邱龍金;趙勇;王子駿;馬立珂
• 申請(qǐng)（專利權(quán)）人: 廣州鼎甲計(jì)算機(jī)科技有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06;G06F11/14
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 盧曉霞

本申請(qǐng)涉及一種數(shù)據(jù)緩存方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，所述方法包括：將磁盤(pán)文件中的備份數(shù)據(jù)備份至備份服務(wù)器的過(guò)程中，產(chǎn)生的增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中；增量數(shù)據(jù)包表示備份數(shù)據(jù)的變化數(shù)據(jù)；若增量發(fā)送隊(duì)列的數(shù)據(jù)量大于或等于預(yù)設(shè)的第一數(shù)據(jù)量閾值，則獲取并存儲(chǔ)備份數(shù)據(jù)的變化參數(shù)；變化參數(shù)用于描述備份數(shù)據(jù)中的變化數(shù)據(jù)；在增量發(fā)送隊(duì)列存在空余空間的情況下，根據(jù)變化參數(shù)獲取對(duì)應(yīng)的目標(biāo)增量數(shù)據(jù)包，并將目標(biāo)增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中。本申請(qǐng)實(shí)施例提供的技術(shù)方案可以提高數(shù)據(jù)實(shí)時(shí)備份的成功率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)緩存方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在數(shù)據(jù)實(shí)時(shí)備份的過(guò)程中，生產(chǎn)端主機(jī)將變化數(shù)據(jù)發(fā)送到備份服務(wù)器中進(jìn)行實(shí)時(shí)同步，而當(dāng)生產(chǎn)端主機(jī)產(chǎn)生變化數(shù)據(jù)產(chǎn)生的速度超過(guò)了向備份服務(wù)器發(fā)送數(shù)據(jù)速度，生產(chǎn)端主機(jī)就需要將變化數(shù)據(jù)在本地進(jìn)行緩存。

在進(jìn)行本地緩存時(shí)，傳統(tǒng)的變化數(shù)據(jù)緩存方式通常是將本地外存磁盤(pán)空間或者內(nèi)存緩沖隊(duì)列作為緩沖區(qū)，在緩沖區(qū)內(nèi)進(jìn)行變化數(shù)據(jù)的緩存。

然而，上述變化數(shù)據(jù)緩存方式在變化數(shù)據(jù)產(chǎn)生的速度一直超過(guò)發(fā)送數(shù)據(jù)的速度的情況下，就會(huì)導(dǎo)致緩沖區(qū)溢出，從而使得數(shù)據(jù)實(shí)時(shí)備份過(guò)程被中斷，產(chǎn)生數(shù)據(jù)丟失的風(fēng)險(xiǎn)，降低了數(shù)據(jù)實(shí)時(shí)備份的成功率。

發(fā)明內(nèi)容

基于此，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)緩存方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，可以提高數(shù)據(jù)實(shí)時(shí)備份的成功率。

第一方面，提供了一種數(shù)據(jù)緩存方法，該方法包括：

將磁盤(pán)文件中的備份數(shù)據(jù)備份至備份服務(wù)器的過(guò)程中，產(chǎn)生的增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中；增量數(shù)據(jù)包表示備份數(shù)據(jù)的變化數(shù)據(jù)；若增量發(fā)送隊(duì)列的數(shù)據(jù)量大于或等于預(yù)設(shè)的第一數(shù)據(jù)量閾值，則獲取并存儲(chǔ)備份數(shù)據(jù)的變化參數(shù)；變化參數(shù)用于描述備份數(shù)據(jù)中的變化數(shù)據(jù)；在增量發(fā)送隊(duì)列存在空余空間的情況下，根據(jù)變化參數(shù)獲取對(duì)應(yīng)的目標(biāo)增量數(shù)據(jù)包，并將目標(biāo)增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中。

在其中一個(gè)實(shí)施例中，變化參數(shù)包括元數(shù)據(jù)和變化數(shù)據(jù)位圖；獲取并存儲(chǔ)備份數(shù)據(jù)的變化參數(shù)，包括：

從磁盤(pán)的寫(xiě)輸入輸出包中獲取元數(shù)據(jù)，并將元數(shù)據(jù)存儲(chǔ)至增量元數(shù)據(jù)隊(duì)列中；若增量元數(shù)據(jù)隊(duì)列的數(shù)據(jù)量大于或等于預(yù)設(shè)的第二數(shù)據(jù)量閾值，則根據(jù)備份數(shù)據(jù)的變化數(shù)據(jù)生成變化數(shù)據(jù)位圖，并將變化數(shù)據(jù)位圖存儲(chǔ)至內(nèi)存映射文件中。

在其中一個(gè)實(shí)施例中，根據(jù)變化參數(shù)獲取對(duì)應(yīng)的目標(biāo)增量數(shù)據(jù)包，并將目標(biāo)增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中，包括：

根據(jù)元數(shù)據(jù)從對(duì)應(yīng)的備份數(shù)據(jù)中獲取目標(biāo)增量數(shù)據(jù)包，并將目標(biāo)增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中；元數(shù)據(jù)包括輸入輸出包寫(xiě)入的時(shí)間戳、磁盤(pán)名、在磁盤(pán)中的偏移以及變化數(shù)據(jù)的長(zhǎng)度；若增量元數(shù)據(jù)隊(duì)列的數(shù)據(jù)量大于或等于預(yù)設(shè)的第二數(shù)據(jù)量閾值，則根據(jù)變化數(shù)據(jù)位圖獲取目標(biāo)增量數(shù)據(jù)包，并將目標(biāo)增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中。

在其中一個(gè)實(shí)施例中，根據(jù)變化數(shù)據(jù)位圖獲取目標(biāo)增量數(shù)據(jù)包，并將目標(biāo)增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中，包括：

在增量元數(shù)據(jù)隊(duì)列為空的情況下，調(diào)用CBT處理線程根據(jù)變化數(shù)據(jù)位圖的有效數(shù)據(jù)位從備份數(shù)據(jù)中獲取目標(biāo)增量數(shù)據(jù)包，并將目標(biāo)增量數(shù)據(jù)包添加至增量發(fā)送隊(duì)列中。

在其中一個(gè)實(shí)施例中，上述方法還包括：

若增量元數(shù)據(jù)隊(duì)列的數(shù)據(jù)量小于第二數(shù)據(jù)量閾值，則獲取新的元數(shù)據(jù)，并將新的元數(shù)據(jù)存儲(chǔ)至臨時(shí)緩存隊(duì)列中；新的元數(shù)據(jù)為CBT處理線程執(zhí)行期間備份數(shù)據(jù)產(chǎn)生的元數(shù)據(jù)；若CBT處理線程執(zhí)行完畢，則將臨時(shí)緩存隊(duì)列中的新的元數(shù)據(jù)添加至增量元數(shù)據(jù)隊(duì)列。

在其中一個(gè)實(shí)施例中，上述方法還包括：

若CBT處理線程執(zhí)行完畢，則釋放內(nèi)存映射文件對(duì)應(yīng)的存儲(chǔ)資源。

在其中一個(gè)實(shí)施例中，上述方法還包括：