[發(fā)明專利]一種基于RDMA的低延時(shí)數(shù)據(jù)傳輸方法及相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010626806.7
• 申請(qǐng)日: 2020-07-02
• 公開(kāi)（公告）號(hào): CN113886294A
• 公開(kāi)（公告）日: 2022-01-04
• 發(fā)明（設(shè)計(jì)）人: 張翔宇;張曼妮;李楊;孫軍歡
• 申請(qǐng)（專利權(quán)）人: 北京瀚海云星科技有限公司;深圳致星科技有限公司
• 主分類號(hào): G06F13/28
• 分類號(hào): G06F13/28;G06F15/173
• 代理公司: 深圳市力道知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 何姣

本發(fā)明提供一種基于RDMA的低延時(shí)數(shù)據(jù)傳輸方法及相關(guān)裝置。其中涉及的發(fā)送數(shù)據(jù)的方法、接收數(shù)據(jù)的方法，并在此基礎(chǔ)上的基于RDMA的低延時(shí)數(shù)據(jù)傳輸方法，以及相關(guān)裝置、計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，主要是在源主機(jī)端通過(guò)對(duì)請(qǐng)求跨端通信的數(shù)據(jù)(數(shù)據(jù)長(zhǎng)度超過(guò)設(shè)定MTU的)附加傳輸標(biāo)識(shí)，且使所述傳輸標(biāo)識(shí)和數(shù)據(jù)拼接在一塊地址連續(xù)的內(nèi)存中；并以附傳輸標(biāo)識(shí)數(shù)據(jù)為RDMA傳輸對(duì)象，執(zhí)行RDMA跨端發(fā)送，且在控制其中傳輸標(biāo)識(shí)分片的發(fā)送；以及在目的主機(jī)端解析附傳輸標(biāo)識(shí)數(shù)據(jù)獲得被傳輸?shù)臄?shù)據(jù)，以及以接收的傳輸標(biāo)識(shí)為數(shù)據(jù)接收完成信號(hào)，通知目的主機(jī)端相關(guān)應(yīng)用訪問(wèn)或調(diào)用，進(jìn)而實(shí)現(xiàn)及時(shí)有效的數(shù)據(jù)通信的。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)通信技術(shù)領(lǐng)域，具體地，涉及一種基于RDMA的低延時(shí)數(shù)據(jù)傳輸方法及相關(guān)裝置。

背景技術(shù)

隨著電子信息技術(shù)的發(fā)展，越來(lái)越多的電子計(jì)算機(jī)服務(wù)被廣泛提供給人們的生產(chǎn)生活活動(dòng)。然而，單臺(tái)計(jì)算機(jī)設(shè)備能夠提供服務(wù)的能力畢竟有限；故現(xiàn)在越來(lái)越多的計(jì)算機(jī)服務(wù)，特別是功能強(qiáng)大的計(jì)算機(jī)服務(wù)，是通過(guò)若干臺(tái)計(jì)算機(jī)設(shè)備構(gòu)成的計(jì)算機(jī)集群實(shí)現(xiàn)的。不同的計(jì)算機(jī)設(shè)備通過(guò)網(wǎng)絡(luò)連接構(gòu)成服務(wù)器集群，進(jìn)而為人們提供各種形式的計(jì)算機(jī)服務(wù)。在對(duì)外提供服務(wù)時(shí)，不免涉及跨計(jì)算機(jī)設(shè)備終端間的調(diào)用和數(shù)據(jù)交互，即計(jì)算機(jī)間的跨端數(shù)據(jù)通信。而計(jì)算機(jī)設(shè)備間的跨端通信，通常都是在TCP/IP協(xié)議支持下實(shí)現(xiàn)的。

然而，傳統(tǒng)的TCP/IP技術(shù)在數(shù)據(jù)包處理過(guò)程中，要經(jīng)過(guò)操作系統(tǒng)及其他軟件層，需要占用大量的服務(wù)器資源和內(nèi)存總線帶寬，數(shù)據(jù)在系統(tǒng)內(nèi)存、處理器緩存和網(wǎng)絡(luò)控制器緩存之間來(lái)回進(jìn)行復(fù)制移動(dòng)，給服務(wù)器的CPU和內(nèi)存造成了沉重負(fù)擔(dān)。尤其是網(wǎng)絡(luò)帶寬、處理器速度與內(nèi)存帶寬三者的嚴(yán)重不匹配性，更加劇了網(wǎng)絡(luò)延遲效應(yīng)。

RDMA是一種遠(yuǎn)程直接數(shù)據(jù)存取技術(shù)。作為一種遠(yuǎn)程內(nèi)存訪問(wèn)技術(shù)，RDMA能夠使計(jì)算機(jī)直接存取其他計(jì)算機(jī)的內(nèi)存，而不需要經(jīng)過(guò)處理器的處理。RDMA將數(shù)據(jù)從一個(gè)系統(tǒng)快速移動(dòng)到遠(yuǎn)程系統(tǒng)的內(nèi)存中，而不對(duì)操作系統(tǒng)造成任何影響。正是由于RDMA通信具備上述優(yōu)點(diǎn)，故在越來(lái)越多的應(yīng)用場(chǎng)景中，特別是在大數(shù)據(jù)、AI領(lǐng)域，當(dāng)有著大量的數(shù)據(jù)遠(yuǎn)程通信請(qǐng)求產(chǎn)生時(shí)，越來(lái)越傾向于選擇基于RDMA協(xié)議執(zhí)行跨端數(shù)據(jù)傳輸。

然而，為了減少重傳和提高通信效率，同基于TCP/IP的通信框架一樣，基于RDMA的跨端通信方案，也會(huì)設(shè)定網(wǎng)絡(luò)鏈路MTU(Maximum Transmission Unit，即最大傳輸單元)，對(duì)于數(shù)據(jù)的長(zhǎng)度超過(guò)鏈路層MTU的數(shù)據(jù)，引入(MTU)分片機(jī)制，以提高傳輸效率，增強(qiáng)通信系統(tǒng)健壯性。但是，不同于TCP/IP通信的是，RDMA通信繞過(guò)操作系統(tǒng)內(nèi)核，缺少TCP/IP通信那樣完善的數(shù)據(jù)報(bào)文發(fā)送接收以及接收后的及時(shí)通知機(jī)制；也就是說(shuō)，雖然在每個(gè)基本語(yǔ)義操作層面，RDMA通信在發(fā)送接收兩端有著一套控制消息交互機(jī)制保障著作為操作對(duì)象的數(shù)據(jù)段的通信進(jìn)度監(jiān)控；但在此粒度之下，即使目的主機(jī)端接收到全部數(shù)據(jù)分片，也未必能及時(shí)有效地通知目的主機(jī)端其他相關(guān)應(yīng)用。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種基于RDMA的低延時(shí)數(shù)據(jù)傳輸方法及相關(guān)裝置。

一方面，本發(fā)明實(shí)施例提供一種發(fā)送數(shù)據(jù)的方法，該方法應(yīng)用于計(jì)算機(jī)跨端通信系統(tǒng)中的源主機(jī)端，具體應(yīng)用于RDMA數(shù)據(jù)傳輸，其能夠生成RDMA報(bào)文，以及發(fā)送RDMA報(bào)文。

上述的發(fā)送數(shù)據(jù)的方法，包括：

對(duì)于請(qǐng)求跨端傳輸?shù)臄?shù)據(jù)，若其長(zhǎng)度超過(guò)設(shè)定的MTU，則為所述數(shù)據(jù)附加一個(gè)傳輸標(biāo)識(shí)，且使所述傳輸標(biāo)識(shí)和所述數(shù)據(jù)拼接在一塊地址連續(xù)的內(nèi)存中；將上述的附傳輸標(biāo)識(shí)數(shù)據(jù)對(duì)應(yīng)的內(nèi)存注冊(cè)為RDMA內(nèi)存；生成相應(yīng)的RDMA數(shù)據(jù)報(bào)文；并發(fā)送所述RDMA數(shù)據(jù)報(bào)文；其中，