[發明專利]大數據量文件的傳輸方法及系統

有效

• 申請號: 201210174047.0
• 申請日: 2012-05-30
• 公開（公告）號: CN102752283A
• 公開（公告）日: 2012-10-24
• 發明（設計）人: 卓華;邱源峰;陳錦;方煒
• 申請（專利權）人: 福建省三奧信息科技股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04N21/63
• 代理公司: 福州市鼓樓區博深專利代理事務所(普通合伙) 35214
• 代理人: 林志崢

技術領域

本發明涉及計算機網絡領域、文件傳輸技術，尤其涉及媒體資產管理的大數據量文件的傳輸方法及系統。

背景技術

目前，媒資所管理的媒體資產一般都是數據量非常大的文件，幾乎都是以G為單位的，并且資料都是很珍貴的，所以當利用網絡傳輸這些文件時需要保證以下兩點：1、要保證素材的完整性；2、由于文件的事數據量大，故而需增加文件校驗。

現有技術中通常采用的文件傳輸方式有兩種：塊式傳輸（簡稱塊傳輸）和流式傳輸（簡稱流傳輸）。

塊傳輸：是指每次傳輸一個數據塊，服務端在接收到這一完整的塊的時候進行校驗并將通過校驗的文件寫入。但塊傳輸也存在著以下缺點：1、如果服務端在接收時發生驗證通不過，則需要客戶端重新開始傳這一個數據塊；2、如果數據塊被分的太小，那么傳輸的總體速度不快；3、如果數據塊被分的太大，則丟包時丟掉的數據塊就太大了，而且校驗大數據塊花的時間也比較長；4、由于各子文件塊在傳輸時不具有順序性，接收端接收、寫入數據時，各子文件塊之間很容易出現位置偏移的現象，造成視頻播放時模糊、卡頓、馬賽克等問題。

流傳輸：是指客戶端向服務端實時地傳輸文件流，服務端在接收到文件流的同時就可以開始實時地寫入文件了，無須等到整個文件全部傳輸完畢再進行文件地寫入。流傳輸一般用在音視頻在線觀看的時候，也可以用在普通文件傳輸的時候。但流傳輸無法實現斷點續傳，且在傳輸過程無法進行校驗，只能在文件流傳輸結束后進行文件校驗，這個時候如果發現文件校驗不通過就只能重新開始傳輸了。這樣既造成了時間、成本的浪費，也造成了資源的浪費。

鑒于此，有必要提出一種技術，能夠省時、安全地傳輸媒體資產管理的大數據量文件。

發明內容

本發明主要解決的技術問題是提供一種大數據量文件的傳輸方法及系統，用以解決現有技術中傳輸大數據量文件時對時間、成本、資源造成的浪費現象。

為解決上述問題，本發明采用的一種技術方案是：提供一種大數據量文件的傳輸方法，包括以下步驟：

S1、在文件傳輸的發送端，對待發送文件進行分塊處理，得到一發送子文件塊和一等待子文件塊，并在生成所述發送子文件塊的同時，按與接收端約定被校驗的字節數，生成所述發送子文件塊的第一校驗信息；

S2、將所述發送子文件塊及第一校驗信息傳輸至接收端；其中，所述發送子文件塊是以流傳輸的形式被傳輸至接收端；

S3、在接收端接收所述發送子文件塊的過程中，每當接收到與發送端約定被校驗的字節數的數據時，生成第二校驗信息；

S4、將所述第二校驗信息與接收到的第一校驗信息進行比對；若所述第一校驗信息、第二校驗信息比對失敗，則終止接收文件，并向發送端發送終止文件傳輸的信息；若所述第一校驗信息、第二校驗信息比對成功，則將接收到的數據寫入接收端的存儲器，再次執行所述步驟S3直至所述發送子文件塊全部被寫入到接收端的存儲器，并向發送端發送所述發送子文件塊傳輸結束的信息。

S5、發送端接收到接收端發送的信息后，向接收端發送獲取上一次傳輸終止或結束時接收端文件的接收位置的請求；

S6、根據接收端返回的信息，判斷所述文件的接收位置是否到達待發送文件的結尾；若否，則返回所述步驟S1，從所述文件的接收位置起對所述等待子文件塊進行分塊處理并生成相應的校驗信息；若是，則待發送文件已經發送完畢，文件傳輸結束。

其中，所述步驟S1中得到所述第一校驗信息具體通過以下步驟：按與接收端約定被校驗的字節數，對所述發送子文件塊進行MD5編碼，得到所述第一校驗信息；

所述步驟S3中得到所述第二校驗信息具體通過以下步驟：每當接收到與發送端約定被校驗的字節數的數據時，對接收到的數據進行MD5編碼，得到所述第二校驗信息。

其中，發送端與接收端約定被校驗的字節數為4096K。

其中，所述步驟S1按照一定的比例對所述待發送文件進行分塊處理。

其中，所述發送子文件塊的大小范圍為1M-10M。

為解決上述問題，本發明所采用的另一個技術方案是：提供一種大數據量文件的傳輸系統，包括：

發送端分塊模塊，用于對待發送文件進行分塊處理，得到一發送子文件塊和一等待子文件塊，并在生成所述發送子文件塊的同時，按與接收端約定被校驗的字節數，生成所述發送子文件塊的第一校驗信息；

發送端發送模塊，用于將所述發送子文件塊及第一校驗信息傳輸至接收端；其中，所述發送子文件塊是以流傳輸的形式被傳輸至接收端；