[發明專利]一種基于虛擬共享目錄的大數據備份方法

有效

• 申請號: 201810776448.0
• 申請日: 2018-07-11
• 公開（公告）號: CN108984345B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 匙凱;于富東;胡建華;楊林;崔明陽
• 申請（專利權）人: 吉林吉大通信設計院股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 長春市吉利專利事務所(普通合伙) 22206
• 代理人: 李曉莉

一種基于虛擬共享目錄的大數據備份方法，屬于數據備份技術領域，本發明通過在介質服務器上的本地存儲，對外提供文件共享協議接口，將建一個虛擬的共享目錄，如將該接口提供給需要備份的大數據平臺A，那么大數據平臺A需要備份時，則在本地掛載該分區，即可得到該虛擬目錄的共享權，備份完畢后，斷開分區，該分區即可回退到介質服務器，同時向另外的一個存儲類服務器提供共享目錄服務，通過文件復制，非常簡明的實現了大數據文件的備份。

技術領域

本發明屬于數據備份技術領域，特別是涉及到一種提升大數據備份效率的大數據備份方法。

背景技術

大數據時代數據的價值更加關鍵，運行在大數據上的數據的安全性需要的以保障，那么就需要一種較快速、較通用的備份技術來實現各類大數據平臺數據備份，并保證備份效率和兼容性。

目前，針對于大數據平臺 數據備份的方法一般遵循如下架構，該架構包括如下幾部分：備份代理（即agent）、介質服務器、存儲介質。

具體實現的細節上可大致分為如下兩種：

（1）客戶端agent HTTP介質服務器ISCSI存儲介質

備份代理安裝在待備份端的大數據主機上，將備份數據收集起來，通過網絡HTTP協議將數據傳輸到介質服務器上，介質服務往往單獨部署，收集來自于各個備份agent的數據，進行去重和壓縮后，通過ISCSI接口將數據傳輸存儲到存儲介質上（如disk）。

（2）客戶端agent HTTP介質服務器HTTP存儲介質

備份代理安裝在待備份端的大數據主機上，將備份數據收集起來，通過網絡HTTP協議將數據傳輸到介質服務器上，介質服務單獨部署，收集來自于各個備份agent的數據，進行去重和壓縮后，通過HTTP接口將數據傳輸存儲到存儲介質上（如object storage）。

現有技術（1）中，針對于不同的備份對象都需要對應的采集客戶端，并且需要agent將數據從真實數據源（如hadoop namenode），傳輸到本地一個暫存目錄（該主機上），而后再將該目錄下的數據通過切塊處理（如每次一個64K數據塊），繼而每個數據塊通過HTTP協議傳輸到介質服務器端，介質服務器接收后，經過一系列的去重和壓縮處理后，將通過ISCSI協議將數據通過FC網絡傳輸到專門的存儲介質中（如disk），整個過程數據經過4個關鍵的耗時步驟（即agent本地暫存、本地切換、網絡傳輸到介質服務器、介質服務器網絡傳輸到存儲介質），數據備份的效率難以得到保證，而且過多的環節也增大了系統的運行風險。

相比技術（1），不同的是，在數據傳輸到介質服務器的之后，并非將數據直接通過ISCSI協議傳輸到存儲介質，而是通過HTTP協議再次切塊，將數據通過HTTP協議傳到對象存儲中（object storage中），技術（2）相比技術（1）來說僅僅是后端內存儲協議不同，整體的存儲效率和風險并沒有有效的規避，同時針對于多類型大數據平臺的采集同樣需要開發對應的客戶端代理agent，備份系統的復雜性和兼容性仍然沒有得到提升。因此現有技術當中亟需要一種新型的技術方案來解決這一問題。

發明內容

本發明所要解決的技術問題是：提供一種基于虛擬共享目錄的大數據備份方法，提升了異構大數據平臺下的數據備份系統的兼容性，并且簡化了大數據平臺備份系統的備份過程以及提升備份效率。

一種基于虛擬共享目錄的大數據備份方法，其特征是：包括以下步驟：

步驟一、建立一個包括大數據平臺、備份介質層、介質服務層以及存儲介質的虛擬共享數據存儲備份系統；

步驟二、大數據平臺向系統發起備份需求，備份介質層將網絡文件介質NFS agent遠程掛載在大數據平臺上，為大數據平臺提供一個基于網絡文件NFS協議的虛擬共享目錄，將數據暫存到NFS agent的內部目錄；