[發明專利]一種能夠減少延時的數據傳輸方法

有效

• 申請號: 201710023532.0
• 申請日: 2017-01-13
• 公開（公告）號: CN107070977B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 吳秋莉;郭麗娟;張煒;呂澤承;尹立群;鄔蓉蓉
• 申請（專利權）人: 廣西電網有限責任公司電力科學研究院
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 南寧東智知識產權代理事務所(特殊普通合伙) 45117
• 代理人: 戴燕桃;巢雄輝

本發明公開了一種能夠減少延時的數據傳輸方法，涉及數據處理技術領域，能夠解決因為對下游節點請求的確認和解析增加的系統延時。該減小延時的數據傳輸方法包括：上游節點向下游節點發送數據發送請求；所述下游節點獲取所述數據發送請求，向所述上游節點發送所需數據內容；所述上游節點接收、調取并向所述下游節點發送所述所需數據內容。本發明應用于分布式計算系統中上下游節點之間的數據傳輸。

技術領域

本發明涉及數據處理領域，尤其涉及一種能夠減少延時的數據傳輸方法。

背景技術

隨著信息技術的飛速發展，基于數據處理和數據分析的應用受到了廣泛的歡迎和關注。大量信息源帶來了數據規模的爆發式增長，因此對海量數據進行復雜計算已經遠遠超過單臺計算機的處理能力，由此推動了對分布式系統及其關鍵技術的研究。分布式計算中把需要進行復雜計算的海量數據切分成小塊后分交由多臺計算機并行處理，并將局部計算結果整合得出最終結果。

在一般意義上的數據傳輸模式中，由客戶端向服務器端發起資源請求，服務器端響應建立傳輸控制協議（Transmission Control Protocol，簡稱TCP）連接而后開始向客戶端傳輸數據；但在分布式計算系統中，由于數據是實時傳輸的，上游數據流的傳送無法由下游節點的請求來驅動，因為數據流是不間斷、流速波動的數據集，下游節點無法預知上游數據流到來的時間點，不僅如此，還會因為對下游節點請求的確認和解析增加系統延時，因此，數據的傳輸所需時間較長。

發明內容

本發明所要解決的技術問題在于提供一種能夠減少延時的數據傳輸方法，能夠解決因為對下游節點請求的確認和解析增加的系統延時。

為解決上述技術問題，本發明采用如下技術方案：

本發明提供了一種能夠減少延時的數據傳輸方法，該數據傳輸方法包括：

上游節點向下游節點發送數據連接請求；

所述下游節點獲取所述數據連接請求，建立與所述上游節點的數據連接；

所述下游節點向所述上游節點發送所需數據內容；

所述上游節點調取并向所述下游節點發送所述所需數據內容。

優選的，該數據傳輸方法還包括：

所述下游節點在指定端口監聽連接請求。

優選的，所述下游節點獲取所述數據連接請求，建立與所述上游節點的連接包括：

當所述下游節點從所述指定端口監聽到所述連接請求，打開對應的數據管道，建立與所述上游節點的數據連接。

優選的，所述下游節點向所述上游節點發送所需數據內容包括：

所述下游節點獲取待處理任務所訂閱的數據流名，向所述上游節點發送。

優選的，所述上游節點調取并向所述下游節點發送所述所需數據內容包括：

所述上游節點獲取來自所述下游節點的數據流名；

所述上游節點根據所述輸出數據流和下游節點的訂閱關系，將所述輸出數據流發送到與所述下游節點一一對應的共享內存隊列上；

所述上游節點發送所述共享內存隊列內的數據流。

優選的，所述上游節點調取并向所述下游節點發送所述所需數據內容之前，還包括：

所述上游節點持久化備份所述所需數據內容。

優選的，所述連接請求為數據流名。

優選的，所述下游節點在指定端口監聽連接請求包括：

所述下游節點監聽指定端口，并將所述指定端口加入到epoll句柄中；