[發明專利]一種基于大數據的文件夾斷點續傳方法

有效

• 申請號: 201710753611.7
• 申請日: 2017-08-29
• 公開（公告）號: CN107682399B
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 孟祥杰;田斌;張利;易錦;劉照輝;胡衛華;梁杰;姚原崗;偰賡;劉遙;張鵬;羅鷹;侯勇軍;鐘峰;田紅偉;陳偉清;劉智
• 申請（專利權）人: 中國信息安全測評中心;成都科來軟件有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/245
• 代理公司: 成都三誠知識產權代理事務所(普通合伙) 51251
• 代理人: 成實

本發明公開了一種基于大數據的文件夾斷點續傳方法，其特征在于，包括以下步驟：步驟1：客服端選擇待上傳文件夾，并向NameNode服務器發送文件上傳請求；步驟2：NameNode服務器解析并獲取待上傳文件夾的協議頭信息，同時根據獲取的協議頭信息生成該待上傳文件夾的數據信息等步驟。本發明將生成的待上傳文件夾的數據信息存入NameNode服務器的內存數據庫中，從而對NameNode服務器進行改造，使服務器支持文件夾的斷點續傳；當文件夾在上傳的過程中其內部的文件出現上傳失敗時，下一次上傳則可以從斷點位置開始將剩余未上傳的文件進行上傳，而無需從頭開始重新上傳文件夾，因此其極大的提高了文件夾的上傳效率。

技術領域

本發明涉及計算機網絡技術領域，具體涉及一種基于大數據的文件夾斷點續傳方法。

背景技術

在當今大數據時代下，各行各業都在使用大數據技術，每天可能有大量的文件夾或文件需要上傳到大數據平臺，所以大數據文件夾或文件的上傳技術也成為大數據不可或缺的技術。大數據是一種以集群模式的方式運作，集群之間數據交互都是通過網絡傳輸，所以網絡的穩定性直接影響大數據可用性。隨著上傳的文件夾或文件越來越多，數據量越來越大，上傳花費的時間也越來越多，文件夾上傳的效率也顯得越來越重要。為了提高大數據文件夾的上傳效率，提供一種基于大數據的文件夾斷點續傳方法則顯得尤為重要。

發明內容

本發明的目的在于克服文件夾在上傳失敗后，需從頭開始重新上傳文件夾，嚴重影響上傳效率的缺陷，提供一種基于大數據的文件夾斷點續傳方法。

本發明的目的通過下述技術方案現實：一種基于大數據的文件夾斷點續傳方法，包括以下步驟：

步驟1：客服端選擇待上傳文件夾，并向NameNode服務器發送文件上傳請求；

步驟2：NameNode服務器解析并獲取待上傳文件夾的協議頭信息，同時根據獲取的協議頭信息生成該待上傳文件夾的數據信息；

步驟3：NameNode服務器根據生成的數據信息，查詢內存數據庫中是否存在相同的信息記錄；是，NameNode服務器從內存數據庫中獲取該待上傳文件夾上一次傳輸的記錄信息，并執行步驟5；否，執行步驟4；

步驟4：NameNode服務器將步驟2中生成的該待上傳文件夾的數據信息存入內存數據庫中，并且返回上傳指令給客服端，客服端開始將文件夾中的文件上傳到NameNode服務器的臨時目錄中，執行步驟6；

步驟5：NameNode服務器根據該待上傳文件夾上一次傳輸的記錄信息返回上傳指令給客服端，客服端根據上傳指令將文件夾中剩余未上傳的文件上傳到NameNode服務器的臨時目錄中，執行步驟6；

步驟6：文件成功上傳到NameNode服務器的臨時目錄后，NameNode服務器再將該文件上傳到大數據平臺，同時刪除內存數據庫里的相應文件記錄數據和臨時目錄中相應的文件，結束上傳；當文件沒有成功上傳到NameNode服務器的臨時目錄時，則返回步驟1。

進一步的，所述步驟2中NameNode服務器生成的數據信息包括：文件夾dir_id、文件夾名稱、文件id、文件名稱、文件路徑path、文件上傳的斷點位置offset、是否成功上傳的標識以及文件長度的數據信息。

所述步驟3中NameNode服務器根據生成的文件夾dir_id，查詢內存數據庫中是否存在該文件夾dir_id的信息記錄。

所述步驟3中NameNode服務器獲取該待上傳文件夾上一次傳輸的記錄信息包括：文件夾dir_id、文件id、文件上傳的斷點位置offset、是否成功上傳的標識以及文件長度。

所述步驟6中NameNode服務器通過大數據DFSOutputStream接口將成功上傳到臨時目錄上的文件上傳到大數據平臺。