[發(fā)明專利]一種基于持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸方法

有效

• 申請?zhí)枺?/td>: 202010177563.3
• 申請日: 2020-03-13
• 公開（公告）號: CN111404931B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 舒繼武;陸游游;李俊儒;汪慶
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 深圳市韋恩肯知識產(chǎn)權(quán)代理有限公司 44375
• 代理人: 李華雙

本發(fā)明涉及持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸技術(shù)領(lǐng)域，具體涉及一種基于持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸方法，包括RDMA連接的客戶端和配置有持久性內(nèi)存的服務(wù)端，客戶端向服務(wù)端發(fā)送遠(yuǎn)程數(shù)據(jù)傳輸請求，當(dāng)接收到返回結(jié)果，提供返回消息池地址和回調(diào)函數(shù)的方式對返回結(jié)果進(jìn)行操作；客戶端通過負(fù)載均衡策略連接到服務(wù)端，客戶端提供遠(yuǎn)程過程調(diào)用操作遠(yuǎn)端持久性內(nèi)存和遠(yuǎn)程直接讀寫內(nèi)存的數(shù)據(jù)傳輸方式，該遠(yuǎn)程直接讀寫內(nèi)存支持遠(yuǎn)程持久化寫內(nèi)存；服務(wù)端接收遠(yuǎn)程數(shù)據(jù)傳輸請求并發(fā)送返回結(jié)果；服務(wù)端管理持久性內(nèi)存與消息池，并支持不同服務(wù)端之間調(diào)用嵌套遠(yuǎn)程過程調(diào)用。該方法具備高效的多客戶端并發(fā)遠(yuǎn)程數(shù)據(jù)操作性能、服務(wù)端可擴(kuò)展能力和持久性內(nèi)存友好性。

技術(shù)領(lǐng)域

本發(fā)明涉及持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸技術(shù)領(lǐng)域，具體涉及一種基于持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸方法。

背景技術(shù)

持久性內(nèi)存技術(shù)(Persistent Memory，PM)是一種新型、不斷發(fā)展的存儲技術(shù)，具有低延遲、高吞吐、成本低的特點。持久性內(nèi)存的吞吐和延遲都優(yōu)于固態(tài)硬盤存儲，并且持久性內(nèi)存可以直接當(dāng)作內(nèi)存訪問；相對于動態(tài)隨機(jī)存取存儲器，持久性內(nèi)存存儲是非易失的。

遠(yuǎn)程內(nèi)存直接訪問技術(shù)(Remote Direct Memory Access，RDMA)是一種新型的網(wǎng)絡(luò)技術(shù)，它可以繞過系統(tǒng)內(nèi)核，避免了復(fù)雜傳統(tǒng)協(xié)議棧的開銷，只使用遠(yuǎn)程網(wǎng)卡而不涉及遠(yuǎn)程CPU來執(zhí)行遠(yuǎn)程內(nèi)存訪問，所以它具有低延遲和高吞吐的特點，為存儲節(jié)點之間的通信提供了高效的方案。

遠(yuǎn)程數(shù)據(jù)傳輸是一種重要的網(wǎng)絡(luò)存儲操作，分布式網(wǎng)絡(luò)存儲的數(shù)據(jù)存儲在不同的節(jié)點上，節(jié)點之間通過遠(yuǎn)程數(shù)據(jù)傳輸完成數(shù)據(jù)操作。在持久性內(nèi)存未出現(xiàn)之前，存儲節(jié)點數(shù)據(jù)存放在磁盤中，遠(yuǎn)程數(shù)據(jù)傳輸操作需要通過內(nèi)存與磁盤的數(shù)據(jù)傳輸，低吞吐高延遲的特點無法發(fā)揮RDMA網(wǎng)絡(luò)的高效性能。那么，如何利用高性能的新型存儲硬件和高效的網(wǎng)絡(luò)通信技術(shù)，構(gòu)建能夠充分發(fā)揮兩者低延遲、高吞吐特點的高效遠(yuǎn)程數(shù)據(jù)傳輸方法，就是本領(lǐng)域技術(shù)人員的亟待解決的問題

現(xiàn)有的一些在持久性內(nèi)存上設(shè)計的遠(yuǎn)程數(shù)據(jù)傳輸方法，將持久性內(nèi)存作為內(nèi)存，利用RDMA的網(wǎng)絡(luò)完成遠(yuǎn)程數(shù)據(jù)傳輸，單純利用持久性內(nèi)存和RDMA網(wǎng)絡(luò)新硬件低延遲、高吞吐的特性構(gòu)建遠(yuǎn)程數(shù)據(jù)傳輸方法。然而，單純用RDMA完成遠(yuǎn)程數(shù)據(jù)傳輸存在問題，頻繁數(shù)據(jù)拷貝無法發(fā)揮持久性內(nèi)存低延遲高吞吐的特點，持久性內(nèi)存的持久化操作需要遠(yuǎn)端CPU參與，同時新硬件的使用會使軟件層的開銷變得更加明顯。所以，直接地將原有針對內(nèi)存磁盤的遠(yuǎn)程數(shù)據(jù)傳輸方法移植到持久性內(nèi)存上來，無法發(fā)揮持久性內(nèi)存低延遲、高吞吐、可持久化的特點，需要根據(jù)新硬件的特點重新設(shè)計軟件。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供一種基于持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸方法，具備高效的多客戶端并發(fā)遠(yuǎn)程數(shù)據(jù)操作性能、服務(wù)端可擴(kuò)展能力和持久性內(nèi)存友好性。

為達(dá)此目的，本發(fā)明實施例提出了一種基于持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸方法，包括：

所述客戶端向所述服務(wù)端發(fā)送遠(yuǎn)程數(shù)據(jù)傳輸請求，當(dāng)接收到所述服務(wù)端根據(jù)所述遠(yuǎn)程數(shù)據(jù)傳輸請求發(fā)出的返回結(jié)果，提供返回消息池地址和回調(diào)函數(shù)的方式對所述返回結(jié)果進(jìn)行操作；其中，所述客戶端和所述服務(wù)端的連接方式為RDMA連接，所述客戶端通過負(fù)載均衡策略連接到所述服務(wù)端，所述客戶端提供遠(yuǎn)程過程調(diào)用操作遠(yuǎn)端持久性內(nèi)存的數(shù)據(jù)傳輸方式和遠(yuǎn)程直接讀寫內(nèi)存的數(shù)據(jù)傳輸方式，所述遠(yuǎn)程直接讀寫內(nèi)存支持遠(yuǎn)程持久化寫內(nèi)存；

所述服務(wù)端接收所述客戶端發(fā)送的所述遠(yuǎn)程數(shù)據(jù)傳輸請求并處理所述遠(yuǎn)程數(shù)據(jù)傳輸請求得到返回結(jié)果，將所述返回結(jié)果發(fā)送至所述客戶端；其中，所述服務(wù)端配置有持久性內(nèi)存且與所述客戶端RDMA連接，所述服務(wù)端管理所述持久性內(nèi)存與消息池，并支持不同服務(wù)端之間調(diào)用嵌套遠(yuǎn)程過程調(diào)用。

本發(fā)明實施例的一種基于持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸方法，結(jié)合RDMA技術(shù)的優(yōu)勢和限制，設(shè)計更適合于持久性內(nèi)存的遠(yuǎn)程數(shù)據(jù)傳輸方法，能夠同時提供具備高效的多客戶端并發(fā)遠(yuǎn)程數(shù)據(jù)操作性能、服務(wù)端可擴(kuò)展能力和持久性內(nèi)存友好性的完善全面的遠(yuǎn)程數(shù)據(jù)傳輸方式。