[發明專利]文件傳輸方法及裝置、存儲介質、電子設備

在審

• 申請號: 202211176022.4
• 申請日: 2022-09-26
• 公開（公告）號: CN115460196A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 荊元飛;邢玉博
• 申請（專利權）人: 中國工商銀行股份有限公司;工銀科技有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/565
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 黃海英

本發明公開了一種文件傳輸方法及裝置、存儲介質、電子設備，涉及大數據領域，其中，該方法包括：響應文件傳輸請求，獲取待傳輸的目標文件、文件屬性信息和文件傳輸配置；基于文件屬性信息和文件傳輸配置，計算并發傳輸總任務數以及每個傳輸任務能夠傳輸的最大文件段區間；基于并發傳輸總任務數和最大文件段區間，對目標文件進行分段，得到分段文件集合；基于每個分段文件的元數據信息，確定與分段文件對應的傳輸任務，得到任務集合；基于并發任務數，執行任務集合中的各項傳輸任務，將目標文件傳輸至服務器。本發明解決了相關技術中采用斷點續傳進行文件傳輸時，無法適用于多線程并發上傳文件網絡場景的技術問題。

技術領域

本發明涉及大數據技術領域，具體而言，涉及一種文件傳輸方法及裝置、存儲介質、電子設備。

背景技術

日常工作中系統上傳文件經常會遇到占用內存大的文件，由于帶寬及網絡配置等因素的限制，大文件上傳往往需要較長時間，且上傳過程中若發生網絡問題，會導致已經上傳的文件需要重新開始傳輸。

為了應對上述問題，對于大文件上傳，通常會采用斷點續傳策略，該斷點續傳策略是指先將大文件分成若干個小文件，然后對每個小文件單獨上傳，上傳完成后，將若干小文件再合并還原成大文件，發生上傳中斷時，只需要對中斷的小文件進行重傳即可。

相關技術中，斷點續傳策略采用的方式主要是直接基于偏移量進行上傳，通常是段與段之間長度不一樣，能夠對不同網絡的環境具有較強的適應性，但是不適合于使用多線程并發上傳的場景。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種文件傳輸方法及裝置、存儲介質、電子設備，以至少解決相關技術中采用斷點續傳進行文件傳輸時，無法適用于多線程并發上傳文件網絡場景的技術問題。

根據本發明實施例的一個方面，提供了一種文件傳輸方法，應用于客戶端，包括：響應文件傳輸請求，獲取待傳輸的目標文件、文件屬性信息和文件傳輸配置，其中，所述文件傳輸配置至少包括：最大并發傳輸數以及單次可傳輸的文件大小；基于所述文件屬性信息和所述文件傳輸配置，計算并發傳輸總任務數以及每個傳輸任務能夠傳輸的最大文件段區間；基于所述并發傳輸總任務數和所述最大文件段區間，對所述目標文件進行分段，得到分段文件集合，其中，所述分段文件集合中包含有N個分段文件，N為大于等于1的正整數；基于每個所述分段文件的元數據信息，確定與所述分段文件對應的傳輸任務，得到任務集合，其中，所述元數據信息至少包括：所述分段文件在傳輸時的起始偏移量、所述文件屬性信息和待執行的并發任務數；基于所述并發任務數，執行所述任務集合中的各項所述傳輸任務，將所述目標文件傳輸至服務器。

可選地，響應文件傳輸請求，獲取待傳輸的目標文件、文件屬性信息和文件傳輸配置的步驟，包括：響應文件傳輸請求，獲取待傳輸的目標文件和文件應用需求，其中，所述文件應用需求用于表征對所述目標文件的文件內容和/或文件名稱的感興趣參數；基于所述感興趣參數，計算所述目標文件的密碼散列值；將所述密碼散列值發送至所述服務器，并接收所述服務器下發的所述文件傳輸配置；提取所述目標文件的文件大小，并基于所述文件大小和所述密碼散列值確定所述文件屬性信息。

可選地，在將所述密碼散列值發送至所述服務器之后，還包括：所述服務器查詢數據庫中是否存在與所述密碼散列值對應的文件上傳信息，其中，所述文件上傳信息包括：歷史并發任務數、歷史傳輸的分段文件的起始偏移量和截止偏移量；在數據庫中存在與所述密碼散列值對應的文件上傳信息的情況下，所述服務器將所述文件上傳信息和所述文件傳輸配置下發至所述客戶端；在數據庫中不存在與所述密碼散列值對應的文件上傳信息的情況下，所述服務器將所述文件傳輸配置下發至所述客戶端。

可選地，基于所述文件屬性信息和所述文件傳輸配置，計算并發傳輸總任務數以及每個傳輸任務能夠傳輸的最大文件段區間的步驟，包括：基于所述單次可傳輸的文件大小和所述目標文件的文件大小，計算每個傳輸任務能夠傳輸的最大文件段區間；基于所述最大文件段區間，確定所述并發傳輸總任務數。