[發明專利]數據傳輸方法、相關裝置及系統

有效

• 申請號: 201810131741.1
• 申請日: 2018-02-08
• 公開（公告）號: CN108494817B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 袁學文;王曙光;周斌
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/141;H04L69/16;H04L67/568
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請公開了一種數據傳輸方法、相關裝置及系統。所述方法可包括：第一設備與第二設備建立第一工作節點和第二工作節點之間的遠程直接內存訪問RDMA連接，其中，分布式計算系統包括第一設備和第二設備，第一設備部署第一工作節點，第二設備部署第二工作節點；第一設備通過支持RoCE協議的網卡，向第二工作節點發送第一工作節點輸出的數據。實施上述方案，能夠在storm系統上使用RoCE技術，降低數據傳輸時延，減少設備消耗在數據傳輸上的處理資源。此外，本申請無需修改設備應用層各個接口的實現代碼，僅需增加中間件，將應用層的各個接口重定向到中間件中即可使用RoCE技術，實現過程簡單方便。

技術領域

本申請涉及大數據處理及通信技術領域，特別涉及數據傳輸方法、相關裝置及系統。

背景技術

隨著信息技術的發展，時刻都有大量的信息產生，各類通信系統或通信平臺需要處理的數據量越來越多。由于信息的價值會隨著時間的流逝而降低，在信息生成后最好及時對其進行處理，以便用戶針對實時的信息做出準確的分析和決策。

為了滿足用戶對信息的時效性要求，目前通常使用分布式處理技術與平臺來處理大數據，常用的分布式計算系統可包括storm、spark、samza、flink等。

目前，用戶對信息處理的時效性要求越來越高，如何改進普通的分布式計算系統使其滿足更高的時效性要求是亟需解決的問題。

發明內容

本申請提供了數據傳輸方法、相關裝置及系統，能夠在storm系統上使用RoCE技術，降低數據傳輸時延，減少設備消耗在數據傳輸上的處理資源。

第一方面，本申請提供了一種數據傳輸方法，包括：第一設備與第二設備建立第一工作節點和第二工作節點之間的遠程直接內存訪問RDMA連接，其中，分布式計算系統包括所述第一設備和所述第二設備，所述第一設備部署所述第一工作節點，所述第二設備部署所述第二工作節點；所述第一設備通過支持基于以太網的遠程直接內存訪問RoCE協議的網卡，向所述第二工作節點發送所述第一工作節點輸出的數據。

實施第一方面的數據傳輸方法，能夠在storm系統上使用RoCE技術，降低數據傳輸時延，減少設備消耗在數據傳輸上的處理資源。

具體的，第一設備部署有應用層和第一中間件，應用層提供各類API，第一中間件提供支持RoCE協議的各類API，并且，應用層的API被重定向到第一中間件的API中；第二設備部署有第二中間件，第二中間件提供支持RoCE協議的各類API。

在可選實施例中，第一設備通過應用層指示第一中間件與所述第二設備的第二中間件，創建所述第一工作節點和所述第二工作節點之間的RDMA連接。實施該可選實施例的方法，storm系統無需修改設備應用層各個接口的實現代碼，僅需增加中間件，將應用層的各個接口重定向到中間件中，即可使用RoCE技術，實現過程簡單方便。

這里，第一設備和第二設備建立RDMA連接時，可以是第一設備向第二設備主動發起連接請求，也可以是第一設備接受第二設備發起的連接請求，即，第一設備可以是服務端，也可以是客戶端，下面分情況描述。

(1)第一種情況，所述第一設備為建立所述RDMA連接的客戶端，所述第二設備為建立所述RDMA連接的服務端。在第一種情況中，第一設備通過應用層指示第一中間件時，具體通過應用層指示第一中間件：創建TCP/IP套接字并獲得指向所述TCP/IP套接字的第一描述符；創建RDMA套接字，將所述第一描述符指向所述RDMA套接字；基于所述第一描述符所指向的所述RDMA套接字向所述第二設備的第二中間件發起所述第一工作節點和所述第二工作節點之間的RDMA連接請求。