[發明專利]一種Spark集群中的數據傳輸方法、系統及相關裝置

在審

• 申請號: 202111424693.3
• 申請日: 2021-11-26
• 公開（公告）號: CN114172916A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 胡德鵬;劉兵
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L67/1095
• 分類號: H04L67/1095;H04L67/568;H04L41/0803
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 吳磊

本申請提供一種Spark集群中的數據傳輸方法，包括：接收數據傳輸任務，并確定數據傳輸任務對應的待同步數據；判斷待同步數據的目標服務器是否配置RDMA網卡；若是，將待同步數據從源端內存通過預設接口寫入至目標服務器的目標端內存，并經由目標端內存傳輸至目標服務器包含的目標Spark集群緩沖區；其中，預設接口為支持RDMA協議的接口。本申請應用RDMA網卡，利用遠程內存直接訪問技術，減少待同步數據在服務器內部的復制副本數量，使得待同步數據直接在源端內存和目標端內存之間傳輸，提高了待同步數據的網絡傳輸速率。本申請還提供一種Spark集群中的數據傳輸系統、計算機可讀存儲介質和服務器，具有上述有益效果。

技術領域

本申請涉及服務器領域，特別涉及一種Spark集群中的數據傳輸方法、系統及相關裝置。

背景技術

分布式應用系統與大數據技術應用日益廣泛，為實現大容量數據的高速計算，通過分布式計算框架，需要將數據分片分布到不同服務器上同步計算，集群內部通過網絡實現數據共享交互。Spark作為分布式內存計算引擎，通過構建彈性分布式數據集模型，使用內存實現對海量數據的快速高效計算。

當前Spark集群使用網絡是傳統的TCP/IP協議網絡，傳統的TCP Socket數據傳輸需要經過如下步驟：

1、數據先從源端Spark執行器程序的Buffer拷貝到當前主機的Sockets緩存區；

2、數據由Sockets緩存區拷貝到TransportProtocol Driver緩存區；

3、數據由TransportProtocol Driver緩存區拷貝到NIC Driver，最后NIC通過以太網絡將數據發送到目標主機的NIC，目標主機又經過上面步驟將數據傳輸到目標主機的應用程序內存中。

如此，使得數據在TCP/IP網絡中傳輸，在每個服務器上都經過3次復制，至少存儲3個副本，這嚴重占用了傳輸時間，影響了數據在網絡間傳輸的效率。

發明內容

本申請的目標是提供一種Spark集群中的數據傳輸方法、Spark集群中的數據傳輸系統、計算機可讀存儲介質和服務器，能夠提高數據在網絡間傳輸的效率。

為解決上述技術問題，本申請提供一種Spark集群中的數據傳輸方法，具體技術方案如下：

接收數據傳輸任務，并確定所述數據傳輸任務對應的待同步數據；

判斷所述待同步數據的目標服務器是否配置RDMA網卡；

若是，將所述待同步數據從源端內存通過預設接口寫入至所述目標服務器的目標端內存，并經由所述目標端內存傳輸至目標服務器包含的目標Spark集群緩沖區；其中，所述預設接口為支持RDMA協議的接口。

其中，判斷所述待同步數據的目標服務器是否配置RDMA網卡之前，還包括：

在Spark集群中添加所述預設接口，并在Spark集群所屬服務器中添加所述預設接口對應的RAMA網卡硬件。

其中，將所述待同步數據從源端內存通過預設接口寫入至所述目標服務器的目標端內存之前，還包括：

向源端內存池發出緩存空間的申請信息；所述緩存空間大小與所述待同步數據的數據容量相對應；

若所述源端內存池當前剩余緩存滿足所述緩存空間，分配緩存空間，利用所述緩存空間執行將所述待同步數據從源端內存寫入至所述目標服務器的目標端內存的步驟；

若所述源端內存池當前剩余緩存未滿足所述緩存空間，掛起所述數據傳輸任務，以預設時間周期重復向源端內存池發出所述申請信息，直至所述當前剩余緩存滿足所述緩存空間時，利用所述緩存空間執行將所述待同步數據從源端內存寫入至所述目標服務器的目標端內存的步驟。