[發(fā)明專利]一種小文件切片傳輸高效備份方法

在審

• 申請?zhí)枺?/td>: 202011339190.1
• 申請日: 2020-11-25
• 公開（公告）號: CN112363872A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 張玉啟;吳貴明;王傳安
• 申請（專利權(quán)）人: 深圳潮數(shù)軟件科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/16;G06F16/172;G06F16/188
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種小文件切片傳輸高效備份方法，由文件分離器、小文件大小設(shè)置器、虛擬存儲塊大小設(shè)置器、小文件切片器、小文件合成器、虛擬存儲塊刪除器組成。通過小文件大小設(shè)置器來設(shè)置“小文件”閾值，將需要備份的文件分離為“小文件”和“大文件”，對“小文件”和“大文件”應(yīng)用不同的備份方法。多個“小文件”被切片為指定大小的虛擬存儲塊（大小可自行設(shè)置），并將虛擬存儲塊分別上傳到服務(wù)器，全部上傳完后將這些虛擬存儲塊合并成為多個“小文件”，以提升“小文件”備份效率。服務(wù)器上虛擬存儲塊合并為多個“小文件”后，虛擬存儲塊立即被刪除；同時，對于服務(wù)器上3天前未被合并為“小文件”的虛擬存儲塊也刪除，以節(jié)省服務(wù)器空間。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)、新一代信息技術(shù)領(lǐng)域，尤其是一種小文件切片傳輸高效備份方法。

背景技術(shù)

5G及下一代移動通信、人工智能、工業(yè)互聯(lián)網(wǎng)和航空航天裝備等行業(yè)有一個最重要的特性就是將會產(chǎn)生海量的大數(shù)據(jù)。數(shù)據(jù)正變得越來越多，數(shù)據(jù)也已經(jīng)成為了一種重要的資產(chǎn)。

5G是一項非常復(fù)雜的高科技，絕對不是只比4G多出1G，最大的特色體現(xiàn)在三個方面：高速度，速度可以最高達到20Gbps；大容量，每平方公里連接數(shù)可以達到100萬；低延時，延時小于10毫秒。5G影響的不僅是通信行業(yè)，包括好多民生行業(yè)和娛樂行業(yè)也會受影響，比如：自動駕駛、自動停車、車路協(xié)同、VR電影、5G遠程醫(yī)療，因此產(chǎn)生的數(shù)據(jù)會越來越多、越來越快。

人工智能行業(yè)的發(fā)展，腦機接口成為現(xiàn)實，將來可能知識也能夠直接灌入人的大腦中，也將產(chǎn)生更多維度的新數(shù)據(jù)。

工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)與產(chǎn)值將會比消費互聯(lián)網(wǎng)大得多，至少是4倍以上，消費互聯(lián)網(wǎng)已經(jīng)產(chǎn)生了這么多大數(shù)據(jù)，工業(yè)互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量就不難想象了。現(xiàn)代化工業(yè)制造生產(chǎn)線安裝有數(shù)以千計的小型傳感器，來探測溫度、壓力、熱能、振動和噪聲。每隔幾秒就收集一次數(shù)據(jù)，并利用這些數(shù)據(jù)進行分析、生產(chǎn)工藝改進、仿真并優(yōu)化生產(chǎn)流程。以通用電氣（GE）為例，位于美國亞特蘭大的GE能源監(jiān)測和診斷（MD）中心，收集全球50多個國家上千臺GE燃氣輪機的數(shù)據(jù)，每天就能為客戶收集10GB的數(shù)據(jù)，分析這些大數(shù)據(jù)以對燃氣輪機進行故障診斷和預(yù)警。風(fēng)力渦輪機制造商Vestas也通過對天氣數(shù)據(jù)及期渦輪儀表數(shù)據(jù)進行交叉分析，并對風(fēng)力渦輪機布局進行改善，由此增加了風(fēng)力渦輪機的電力輸出水平，同時大大延長了服務(wù)壽命。工業(yè)物聯(lián)網(wǎng)和5G時代，對于汽車行業(yè)的影響會很大，汽車將會有更多的傳感器，這也將產(chǎn)生更多的數(shù)據(jù)。

航空航天行業(yè)是高科技密集型行業(yè)，《大數(shù)據(jù)的沖擊》里舉例提到波音噴氣式飛機每30分鐘就產(chǎn)生10TB運行信息數(shù)據(jù)，每次飛躍大西洋就會產(chǎn)生640TB的飛行信息數(shù)據(jù)量。這些數(shù)據(jù)，不僅僅是未來某個時間點能夠分析的工程遙測數(shù)據(jù)，而且還促進了實時自適應(yīng)控制、燃油使用、零件故障預(yù)測和飛行員通報，能有效實現(xiàn)故障診斷和預(yù)測。

與此同時，在產(chǎn)生的大數(shù)據(jù)中，越來越多的數(shù)據(jù)以小文件的形式被產(chǎn)生、存儲了下來，這些文件一般大小不超過10MB，甚至不到1MB，以幾十KB或幾百KB居多。這些小文件數(shù)量多，備份起來非常費時。

目前文件備份存在以下缺點：

對于文件備份采用了一種方法，即常規(guī)的辦法，一般通過底層的復(fù)制接口來實現(xiàn)；

針對“小文件”沒有采用獨特的備份方法，使得海量的“小文件”備份的時間特別長，影響了備份效率；

對于“小文件”和“大文件”定義不清晰，不能以具體的大小來分別“小文件”和“大文件”，即沒有“小文件”閾值；

對于“小文件”的閾值的大小不能調(diào)整。

現(xiàn)有情況下最接近技術(shù)的分析與對比。

目前，現(xiàn)有情況下最接近的技術(shù)方案為：公告號為CN111245949A的《文件歸檔傳輸方法、裝置及設(shè)備》（下文簡稱“對比文件1”）和公告號為CN103986744B的《基于吞吐量的文件并行傳輸方法》（以下簡稱“對比文件2”）。