[發明專利]一種基于RDMA的非易失內存系統的通信方法及服務器

在審

• 申請號: 202011564580.9
• 申請日: 2020-12-25
• 公開（公告）號: CN112667416A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 王芳;馮丹;施展;杜靜文;李偉光
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F11/07;G06F11/10;G06F12/02;G06F16/901
• 代理公司: 武漢華之喻知識產權代理有限公司 42267
• 代理人: 鄧彥彥;方放

本發明公開了一種基于RDMA的非易失內存系統的通信方法及服務器，即提供一種基于RDMA技術和NVM的數據通信方法，該方法包括：服務器以日志結構的方式在非易失內存中維護數據的多個版本，對象的多個版本組成鏈表，鏈表頭結點被哈希表索引。客戶端使用RDMA write寫數據，服務器使用后臺線程進行數據完整性驗證和持久化，通過一致性感知的持久化保證數據在讀之前完整持久化，進而保證強一致性。本發明還提供了實現上述方法的系統。本發明有效地保證了基于RDMA的非易失內存系統的數據強一致性，同時保證在寫為主的場景下的高性能和高可擴展，避免了數據較大時CRC校驗引起的讀性能降級。

技術領域

本發明屬于非易失存儲領域，更具體地，涉及一種基于RDMA的非易失內存系統的通信方法及服務器。

背景技術

遠程直接內存訪問(Remote Direct Memory Access，RDMA)是一種旁路內核實現遠端數據零拷貝訪問的網絡傳輸技術，提供低延時和高吞吐。隨著其價格的不斷降低，在數據中心中使用RDMA構建高性能的分布式存儲系統成為一種趨勢。RDMA包含兩種原語，即單邊原語和雙邊原語。單邊原語包含RDMA read、RDMAwrite和RDMA atomic。使用單邊原語不需要接收端的CPU參與。雙邊原語類似于socket編程，包含send、recv和write_with_imm。使用雙邊原語時，發起端和接收端的CPU均需參與數據傳輸。Write_with_imm原語是一種特殊的雙邊原語，和RDMA write不同的是，它在消息中攜帶了額外的immediate域并能在操作完成后及時通知遠端服務器。網絡往返次數相同時，單邊原語比雙邊原語更快；在CPU密集的工作負載下，即使單邊原語比雙邊原語往返次數更多，單邊原語依然具有更好的性能。此外，最新RDMA網卡(如ConnectX-4和ConnectX-5)的單邊原語性能越來越好。因此，越來越多分布式系統使用RDMA單邊原語實現網絡傳輸。

非易失內存(Non-volatile Memory，NVM)技術具有可字節尋址、高密度的特性，既具有接近DRAM的訪問延時又具有外存的持久性。使用非易失存儲器來構建高速大容量的內存系統為推動云計算和大數據處理的進一步發展提供了可能。當非易失存儲器直接連在內存總線上作為內存使用時，持久化邊界從原來的內存和外存之間變為CPU緩存和非易失內存之間，持久化的粒度也從512字節的扇區大小變為8字節。由于NVM非易失的特性，數據在崩潰時會保留在NVM中。因此需要保證崩潰后數據的一致性。當修改粒度大于8字節時，通常采用寫時拷貝(Copy-On-Write)或者預寫式日志WAL(Write Ahead Log，包括redo logging和undo logging)技術來保證崩潰一致性。

數據直接訪問IO(Direct Data I/O，DDIO)技術，允許網卡直接讀寫CPU的末級緩存(last level cache，LLC)。DDIO影響RDMA的遠端持久化方案。Intel提出的兩個遠端持久化方案分別針對開啟和關閉DDIO的場景。DDIO打開時，在數據持久化點額外地發送一個RDMA send請求，請求中指定需要持久化的緩存行地址，服務器收到該請求后，其CPU通過CLFLUSH等指令將其刷回異步刷回斷電保護(Asynchronous DRAM Refresh，ADR)區域中。DDIO關閉時，在數據持久化點發送額外的RDMA read將之前通過RDMA write傳輸的數據從RNIC(RDMA-aware network interface controller，支持RDMA的網絡接口控制器)刷回到異步刷回斷電保護(Asynchronous DRAM Refresh，ADR)區域中，不經過CPU緩存。兩者均需要額外的網絡傳輸來保證遠端數據持久化。DDIO打開時，Read after Write不能保證數據的遠端持久性，因為無法判斷通過RDMA read讀到的數據來源是CPU緩存還是NVM。