[發明專利]大文件多線程FTP上傳方法

在審

• 申請號: 201711435751.6
• 申請日: 2017-12-26
• 公開（公告）號: CN108093063A
• 公開（公告）日: 2018-05-29
• 發明（設計）人: 邵新華;閆衛東;韓念龍;王秀英;李新民;宗峰;魏強;王飛;顧勇
• 申請（專利權）人: 中國電信股份有限公司新疆分公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 烏魯木齊合縱專利商標事務所 65105
• 代理人: 董燕;湯建武

本發明涉及網絡數據上傳技術領域，是一種大文件多線程FTP上傳方法，包括第一步，獲取源文件；第二步，監聽源文件；第三步，判斷是否有上傳文件；第四步，將上傳文件切割成多個文件塊；第五步，計算用戶機器的最大線程數；第六步，文件自動上傳；第七步，驗證文件是否完整；第八步，文件塊全部傳輸完成，服務端程序合并文件塊，并將文件和現有系統數據關聯。本發明實現了自動上傳文件，無需專人值守，且支持斷點續傳，在上傳文件過程中出現錯誤，無需用戶操作，待網絡通暢后會自動續傳文件，達到了智能化、自動化的目的。通過多線程并發上傳比單線程上傳速率更快，最大化地利用客戶端計算機的性能，使上傳效果達到最佳，滿足了客戶的要求。

技術領域

本發明涉及網絡數據上傳技術領域，是一種大文件多線程FTP上傳方法。

背景技術

隨著卡口監控、執法儀、記錄儀、航拍儀等移動監控設備的增多普及，視頻文件的管理存在文件存貯問題，再者視頻文件與現有的信息系統結構化數據進行關聯成為了重要需求，因此需要在現有信息系統中增加文件上傳功能。

現有信息化系統多數是web形式系統，因此通常web形式的文件上傳使用的是http協議方式或者使用ftp客戶端工具上傳，而視頻監控設備記錄的視頻文件小則幾百兆，大則幾十G甚至幾百G，但是使用http上傳存在問題：因http文件上傳是一次性將整個文件加載到內存，一個頁面一旦進行了文件上傳，那這個頁面基本不能進行其他操作，一旦網絡出現異常，需要用戶重新選擇文件進行上傳，單請求上傳在網絡不好的情況下速率低；使用ftp客戶端工具上傳存在問題：ftp客戶端工具只能上傳文件，不能將文件信息和系統信息關聯，ftp客戶端工具上傳文件時，出現網絡中斷，則需要人為手動再次上傳；大多數的ftp客戶端工具上傳文件是單線程上傳，傳輸效率較低；ftp客戶端工具傳輸過程中如果發生錯誤，不會自動補傳丟失文件。

發明內容

本發明提供了一種大文件多線程FTP上傳方法，克服了上述現有技術之不足，其能有效解決現有的大文件單線程上傳存在傳輸速率低的問題；更進一步解決了大文件傳輸過程中出現錯誤，則需重新選擇文件進行上傳的問題。

本發明的技術方案是通過以下措施來實現的：一種大文件多線程FTP上傳方法,包括以下步驟：

第一步，獲取源文件；上傳服務程序配置一個自動上傳的文件夾作為源文件，用戶將待上傳的文件拷貝到該文件夾；

第二步，監聽源文件；上傳服務程序采用輪詢調度的方式監聽該文件夾；

第三步，判斷是否有上傳文件，若有，則進入第四步，如果沒有，則返回第二步；

第四步，將上傳文件切割成多個文件塊；切割文件包括以下過程：

（1）獲取文件的大小；

（2）確定文件塊大小；上傳服務程序根據機器性能配置每個文件塊大小，若不需要配制文件塊大小，則設置默認值；

（3）計算切割的文件塊數，公式如下：

文件塊數=文件大小/配置的文件塊大小

文件塊數的計算結果采用進一法取整；之后進入第五步；

第五步，計算用戶機器的最大線程數；獲取機器的空閑內存大小，根據空閑內存大小和配置的文件塊大小計算機器能同時開啟的最大線程數，最大線程數計算公式如下：

最大線程數=機器空閑內存大小/配置的文件塊大小

最大線程數的計算結果采用去尾法取整；

第六步，文件自動上傳，包括以下過程：

（1）根據同時開啟的最大線程數，自動啟動多線程上傳文件塊；