[發明專利]改進的基于虛擬磁盤文件的流式增量備份方法及裝置

有效

• 申請號: 201810736138.6
• 申請日: 2018-07-06
• 公開（公告）號: CN108984342B
• 公開（公告）日: 2019-07-19
• 發明（設計）人: 許廣彬;譚瑞忠;濮天暉;張銀濱;郭曉;張歡;劉慶
• 申請（專利權）人: 無錫華云數據技術服務有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F3/06;G06F16/17
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 胡擁軍;糜婧

本發明公開了改進的基于虛擬磁盤文件的流式增量備份方法及裝置，掃描增量文件鏈中虛擬磁盤文件元數據，提前計算好差異數據量，以確定每個元數據在整個輸出的虛擬磁盤文件流的偏移量；在內存中開辟一塊連續區域用以存放某一組元數據；輸出差異數據時并不輸出該組元數據，只更新內存中的該組元數據，在該組元數據相應的若干數據塊完成差異數據輸出后輸出內存中的該組元數據。本發明不通過文件系統中轉，以流的方式直接上傳，因此可以解決現有的文件系統中轉帶來的文件系統本身的不可靠、容量占用大、性能不高的問題；由于開辟的連續區域用于存放某一組元數據而非全部元數據，因此可以減少內存占用，尤其在大文件、元數據量比較大時比較有價值。

技術領域

本發明涉及云計算、虛擬化、增量備份、災備的技術領域，尤其涉及改進的基于虛擬磁盤文件的流式增量備份方法及裝置。

背景技術

虛擬磁盤文件通常由元數據和數據部分構成，元數據以塊為單位管理數據，通常一個元數據單位可以管理多個數據塊。

增量備份是指在一次全備份或上一次增量備份后，以后每次的備份只需備份與前一次相比增加或者被修改的數據，現在的導致增量技術通常在識別到第一個差異數據塊分配并輸出一個元數據單位，之后如果再屬于這個元數據單位管理的數據塊時，輸出這個數據塊的同時修改之前已經輸出的元數據單位，這就要求輸出的目標端需要有隨機寫入的特性，通常是文件系統。

但如果輸出的目標端是流式(比如對象存儲，通過http網絡協議訪問)，不具備隨機寫，只有追加寫的功能時，就無法滿足；或者只能先完整輸出到文件系統后，再以流式上傳。

現有技術方案通過先完整輸出到文件系統，之后再流式上傳，其缺點是，文件系統會成為可靠性、性能以及容量的瓶頸，尤其在并發量大的情況更為嚴重。

發明內容

為了克服現有技術的不足，本發明的目的在于提供改進的基于虛擬磁盤文件的流式增量備份方法及裝置，旨在解決現有的文件系統中轉帶來的文件系統本身的不可靠、容量占用大、性能不高的問題。。

本發明的目的采用以下技術方案實現：

一種改進的基于虛擬磁盤文件的流式增量備份方法，包括：

確定步驟，掃描需要備份的增量文件鏈中虛擬磁盤文件元數據，計算出差異數據量，并根據差異數據量確定元數據偏移量；所述增量文件鏈為具有鏈式關系的增量虛擬磁盤文件；所述元數據偏移量包括每個元數據在最終輸出的虛擬磁盤文件流的偏移量，每個元數據對應若干數據塊；

存放步驟，將元數據分為若干組，每組元數據中包含一個、兩個或多個元數據；在內存中開辟一塊連續區域用以存放某一組元數據；

輸出步驟，掃描內存中的該組元數據，如果該組元數據顯示數據有差異，則根據該組元數據信息讀取差異數據并輸出到虛擬磁盤文件流，且輸出差異數據時并不輸出該組元數據，只更新內存中的該組元數據；在與該組元數據相應的若干數據塊完成差異數據輸出后，根據元數據偏移量，輸出內存中的該組元數據到虛擬磁盤文件流。

在上述實施例的基礎上，優選的，所述確定步驟后，還包括：

頭部步驟，輸出增量文件鏈的頭部到虛擬磁盤文件流，所輸出的頭部包含元數據偏移量。

在上述任意實施例的基礎上，優選的，所述存放步驟，還包括：

將所開辟的連續區域初始化為零。

在上述任意實施例的基礎上，優選的，所述確定步驟中，元數據偏移量滿足：使元數據位于最終輸出的虛擬磁盤文件流的末端。

或者，優選的，所述確定步驟中，元數據偏移量滿足：使每個元數據位于最終輸出的虛擬磁盤文件流中，且位于該元數據相應的若干數據塊之后。

一種改進的基于虛擬磁盤文件的流式增量備份裝置，包括：