[發明專利]一種大數據傳輸方法及系統

有效

• 申請號: 201911203697.1
• 申請日: 2019-11-29
• 公開（公告）號: CN110995697B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 張中華;歐鈺鵬;呂書萬;金明林;劉曉涵
• 申請（專利權）人: 濟南慧天云海信息技術有限公司
• 主分類號: H04L67/141
• 分類號: H04L67/141;H04L69/16;H04L67/06;H04L61/2521
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了一種大數據傳輸方法及方法，包括以下步驟：發送端向接收端發送文件信息包，所述文件信息包中包括待發送文件的數據包數量和序號；發送端接收到接收端發送的確認接收反饋信息后，向接收端按序號依次發送數據包，并且，每發送一個數據包后，待接收到接收端發送的確認接收消息后發送下一個數據包，每個數據包均對應一個報文頭，記錄該數據包的序號，發送完成后，向接收端發送結束包；接收端接收到結束包后，根據接收到的數據包的報文頭和文件信息包，確認是否存在未接受的數據包，若存在，向發送端發送補包請求。本發明結合了基于UDP和TCP數據傳輸的優勢，能夠在保證可靠傳輸的基礎上，增強數據傳輸的實時性。

技術領域

本發明屬于大數據傳輸技術領域，尤其涉及一種大數據傳輸方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

隨著網絡帶寬時延產品(BDP)的增加，通常的TCP協議變的低效。這是因為他的AIMD(additive increase multiplicative decrease)算法完全減少了TCP擁塞窗口，但不能快速的恢復可用帶寬。理論上的流量分析表明TCP在BDP增加到很高的時候比較容易受包損失攻擊。另外，繼承自TCP擁塞控制制的不公平的RTT也成為在分布式數據密集程式中的嚴重問題。擁有不同RTT的并發TCP流將不公平地分享帶寬。盡管在小的BDP網絡中使用通常的TCP實現來相對平等的共享帶寬，但在擁有大量BDP的網絡中，通常的基于TCP的程式就必須承受嚴重的不公平的問題。這個RTT基于的算法嚴重的限制了其在廣域網分布式計算的效率，例如：internet上的網格計算。一直到今天，對標準的TCP的提高一直都不能在高BDP環境中效率和公平性方面達到滿意的程度(特別是基于RTT的問題)。例如：TCP的修改，RFC1423(高性能擴展)，RFC2018(SACK)、RFC2582(NewReno)、RFC2883(D-SACK)、和RFC2988(RTO計算)都或多或少的提高了點效率，但最根本的AIMD算法沒有解決。HS TCP(RFC 3649)通過根本上改變TCP擁塞控制算法來在高BDP網絡中獲得高帶寬利用率，但公平性問題仍然存在。考慮到上面的背景，需要一種在高BDP網絡支持高性能數據傳輸的傳輸協議。

現有的網閘數據傳輸對于數據的傳輸大多數只支持TCP或者UDP協議。TCP協議雖然能保證數據的可靠傳輸，但它存在以下幾個缺點：(1)TCP的數據確認機制會導致發送方重復發送一些已經被對方接收的數據，降低了帶寬的有效利用率；(2)TCP協議的超時重傳機制嚴格遵守RRT公平性，即到了RRT時間才會重傳丟失的數據，當RRT較大時，就會導致數據的實時性降低，這對于一些對實時性要求較高的應用(比如流媒體、網絡游戲)是不能忍受的，并且還會導致帶寬得不到充分利用；(3)在P2P傳輸領域，由于TCP的NAT穿透成功率極低，用TCP做P2P數據傳輸幾乎不可行。而UDP協議在保證數據傳輸可靠性方面存在劣勢。

發明內容

為克服上述現有技術的不足，本發明提供了一種大數據傳輸方法及系統。該方法結合了基于UDP和TCP數據傳輸的優勢，能夠在保證可靠傳輸的基礎上，增強數據傳輸的實時性。

為實現上述目的，本發明的一個或多個實施例提供了如下技術方案：

一種大數據傳輸方法，包括以下步驟：

發送端向接收端發送文件信息包，所述文件信息包中包括待發送文件的數據包數量和序號；

引入TCP協議的握手連接，發送端接收到接收端發送的確認接收反饋信息后，向接收端按序號依次發送數據包，并且，每發送一個數據包后，待接收到接收端發送的確認接收消息后發送下一個數據包，每個數據包均對應一個報文頭，記錄該數據包的序號，發送完成后，向接收端發送結束包；

引入TCP協議的數據校驗，接收端接收到結束包后，根據接收到的數據包的報文頭和文件信息包，確認是否存在未接受的數據包，若存在，向發送端發送補包請求。