[發(fā)明專利]一種Spark集群中的數(shù)據(jù)傳輸方法、系統(tǒng)及相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111424693.3
• 申請(qǐng)日: 2021-11-26
• 公開（公告）號(hào): CN114172916A
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 胡德鵬;劉兵
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): H04L67/1095
• 分類號(hào): H04L67/1095;H04L67/568;H04L41/0803
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 吳磊

1.一種Spark集群中的數(shù)據(jù)傳輸方法，其特征在于，包括：

接收數(shù)據(jù)傳輸任務(wù)，并確定所述數(shù)據(jù)傳輸任務(wù)對(duì)應(yīng)的待同步數(shù)據(jù)；

判斷所述待同步數(shù)據(jù)的目標(biāo)服務(wù)器是否配置RDMA網(wǎng)卡；

若是，將所述待同步數(shù)據(jù)從源端內(nèi)存通過預(yù)設(shè)接口寫入至所述目標(biāo)服務(wù)器的目標(biāo)端內(nèi)存，并經(jīng)由所述目標(biāo)端內(nèi)存?zhèn)鬏斨聊繕?biāo)服務(wù)器包含的目標(biāo)Spark集群緩沖區(qū)；其中，所述預(yù)設(shè)接口為支持RDMA協(xié)議的接口。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)傳輸方法，其特征在于，判斷所述待同步數(shù)據(jù)的目標(biāo)服務(wù)器是否配置RDMA網(wǎng)卡之前，還包括：

在Spark集群中添加所述預(yù)設(shè)接口，并在Spark集群所屬服務(wù)器中添加所述預(yù)設(shè)接口對(duì)應(yīng)的RAMA網(wǎng)卡硬件。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)傳輸方法，其特征在于，將所述待同步數(shù)據(jù)從源端內(nèi)存通過預(yù)設(shè)接口寫入至所述目標(biāo)服務(wù)器的目標(biāo)端內(nèi)存之前，還包括：

向源端內(nèi)存池發(fā)出緩存空間的申請(qǐng)信息；所述緩存空間大小與所述待同步數(shù)據(jù)的數(shù)據(jù)容量相對(duì)應(yīng)；

若所述源端內(nèi)存池當(dāng)前剩余緩存滿足所述緩存空間，分配緩存空間，利用所述緩存空間執(zhí)行將所述待同步數(shù)據(jù)從源端內(nèi)存寫入至所述目標(biāo)服務(wù)器的目標(biāo)端內(nèi)存的步驟；

若所述源端內(nèi)存池當(dāng)前剩余緩存未滿足所述緩存空間，掛起所述數(shù)據(jù)傳輸任務(wù)，以預(yù)設(shè)時(shí)間周期重復(fù)向源端內(nèi)存池發(fā)出所述申請(qǐng)信息，直至所述當(dāng)前剩余緩存滿足所述緩存空間時(shí)，利用所述緩存空間執(zhí)行將所述待同步數(shù)據(jù)從源端內(nèi)存寫入至所述目標(biāo)服務(wù)器的目標(biāo)端內(nèi)存的步驟。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)傳輸方法，其特征在于，將所述待同步數(shù)據(jù)從源端內(nèi)存寫入至所述目標(biāo)服務(wù)器的目標(biāo)端內(nèi)存的步驟包括：

將所述待同步數(shù)據(jù)復(fù)制至所述緩存空間，并調(diào)用所述Spark集群中源端的執(zhí)行器啟動(dòng)RDMA傳輸線程；

利用所述RDMA傳輸線程將所述待同步數(shù)據(jù)傳輸至目標(biāo)服務(wù)器中的目標(biāo)執(zhí)行器，并由所述目標(biāo)執(zhí)行器將所述待同步數(shù)據(jù)同步所述目標(biāo)端內(nèi)存。

5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)傳輸方法，其特征在于，分配緩存空間時(shí)，還包括：

記錄所述緩存空間對(duì)應(yīng)的頁面號(hào)；

則經(jīng)由所述目標(biāo)端內(nèi)存?zhèn)鬏斨聊繕?biāo)服務(wù)器包含的目標(biāo)Spark集群緩沖區(qū)之后，還包括：

刪除所述頁面號(hào)，并釋放所述頁面號(hào)對(duì)應(yīng)的緩存空間。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)傳輸方法，其特征在于，所述接收數(shù)據(jù)傳輸任務(wù)之前，還包括：

檢測(cè)到數(shù)據(jù)Shuffle任務(wù)時(shí)，生成相應(yīng)的數(shù)據(jù)傳輸任務(wù)。

7.一種Spark集群中的數(shù)據(jù)傳輸系統(tǒng)，其特征在于，包括：

接收模塊，用于接收數(shù)據(jù)傳輸任務(wù)，并確定所述數(shù)據(jù)傳輸任務(wù)對(duì)應(yīng)的待同步數(shù)據(jù)；

判斷模塊，用于判斷所述待同步數(shù)據(jù)的目標(biāo)服務(wù)器是否配置RDMA網(wǎng)卡；

傳輸模塊，用于所述判斷模塊的判斷結(jié)果為是時(shí)，將所述待同步數(shù)據(jù)從源端內(nèi)存通過預(yù)設(shè)接口寫入至所述目標(biāo)服務(wù)器的目標(biāo)端內(nèi)存，并經(jīng)由所述目標(biāo)端內(nèi)存?zhèn)鬏斨聊繕?biāo)服務(wù)器包含的目標(biāo)Spark集群緩沖區(qū)；其中，所述預(yù)設(shè)接口為支持RDMA協(xié)議的接口。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)傳輸系統(tǒng)，其特征在于，還包括：

硬件配置模塊，用于在Spark集群中添加所述預(yù)設(shè)接口，并在Spark集群所屬服務(wù)器中添加所述預(yù)設(shè)接口對(duì)應(yīng)的RAMA網(wǎng)卡硬件。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-6任一項(xiàng)所述的Spark集群中的數(shù)據(jù)傳輸方法的步驟。

10.一種服務(wù)器，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存有計(jì)算機(jī)程序，所述處理器調(diào)用所述存儲(chǔ)器中的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-6任一項(xiàng)所述的Spark集群中的數(shù)據(jù)傳輸方法的步驟。