[發明專利]數據緩存方法、裝置、設備及存儲介質

有效

• 申請號: 202011607295.0
• 申請日: 2020-12-29
• 公開（公告）號: CN112698789B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 邱龍金;趙勇;王子駿;馬立珂
• 申請（專利權）人: 廣州鼎甲計算機科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/14
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 盧曉霞

本申請涉及一種數據緩存方法、裝置、設備及存儲介質，所述方法包括：將磁盤文件中的備份數據備份至備份服務器的過程中，產生的增量數據包添加至增量發送隊列中；增量數據包表示備份數據的變化數據；若增量發送隊列的數據量大于或等于預設的第一數據量閾值，則獲取并存儲備份數據的變化參數；變化參數用于描述備份數據中的變化數據；在增量發送隊列存在空余空間的情況下，根據變化參數獲取對應的目標增量數據包，并將目標增量數據包添加至增量發送隊列中。本申請實施例提供的技術方案可以提高數據實時備份的成功率。

技術領域

本申請涉及網絡技術領域，特別是涉及一種數據緩存方法、裝置、設備及存儲介質。

背景技術

在數據實時備份的過程中，生產端主機將變化數據發送到備份服務器中進行實時同步，而當生產端主機產生變化數據產生的速度超過了向備份服務器發送數據速度，生產端主機就需要將變化數據在本地進行緩存。

在進行本地緩存時，傳統的變化數據緩存方式通常是將本地外存磁盤空間或者內存緩沖隊列作為緩沖區，在緩沖區內進行變化數據的緩存。

然而，上述變化數據緩存方式在變化數據產生的速度一直超過發送數據的速度的情況下，就會導致緩沖區溢出，從而使得數據實時備份過程被中斷，產生數據丟失的風險，降低了數據實時備份的成功率。

發明內容

基于此，本申請實施例提供了一種數據緩存方法、裝置、設備及存儲介質，可以提高數據實時備份的成功率。

第一方面，提供了一種數據緩存方法，該方法包括：

將磁盤文件中的備份數據備份至備份服務器的過程中，產生的增量數據包添加至增量發送隊列中；增量數據包表示備份數據的變化數據；若增量發送隊列的數據量大于或等于預設的第一數據量閾值，則獲取并存儲備份數據的變化參數；變化參數用于描述備份數據中的變化數據；在增量發送隊列存在空余空間的情況下，根據變化參數獲取對應的目標增量數據包，并將目標增量數據包添加至增量發送隊列中。

在其中一個實施例中，變化參數包括元數據和變化數據位圖；獲取并存儲備份數據的變化參數，包括：

從磁盤的寫輸入輸出包中獲取元數據，并將元數據存儲至增量元數據隊列中；若增量元數據隊列的數據量大于或等于預設的第二數據量閾值，則根據備份數據的變化數據生成變化數據位圖，并將變化數據位圖存儲至內存映射文件中。

在其中一個實施例中，根據變化參數獲取對應的目標增量數據包，并將目標增量數據包添加至增量發送隊列中，包括：

根據元數據從對應的備份數據中獲取目標增量數據包，并將目標增量數據包添加至增量發送隊列中；元數據包括輸入輸出包寫入的時間戳、磁盤名、在磁盤中的偏移以及變化數據的長度；若增量元數據隊列的數據量大于或等于預設的第二數據量閾值，則根據變化數據位圖獲取目標增量數據包，并將目標增量數據包添加至增量發送隊列中。

在其中一個實施例中，根據變化數據位圖獲取目標增量數據包，并將目標增量數據包添加至增量發送隊列中，包括：

在增量元數據隊列為空的情況下，調用CBT處理線程根據變化數據位圖的有效數據位從備份數據中獲取目標增量數據包，并將目標增量數據包添加至增量發送隊列中。

在其中一個實施例中，上述方法還包括：

若增量元數據隊列的數據量小于第二數據量閾值，則獲取新的元數據，并將新的元數據存儲至臨時緩存隊列中；新的元數據為CBT處理線程執行期間備份數據產生的元數據；若CBT處理線程執行完畢，則將臨時緩存隊列中的新的元數據添加至增量元數據隊列。

在其中一個實施例中，上述方法還包括：

若CBT處理線程執行完畢，則釋放內存映射文件對應的存儲資源。

在其中一個實施例中，上述方法還包括：