[發(fā)明專利]用于隱式存儲器注冊的顯式流控制

有效

• 申請?zhí)枺?/td>: 201380004588.1
• 申請日: 2013-06-25
• 公開（公告）號: CN104011696A
• 公開（公告）日: 2014-08-27
• 發(fā)明（設(shè)計）人: A·R·戴維斯;R·J·伍德拉夫
• 申請（專利權(quán)）人: 英特爾公司
• 主分類號: G06F13/16
• 分類號: G06F13/16;G06F12/00
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 張揚(yáng);王英

技術(shù)領(lǐng)域

本發(fā)明的領(lǐng)域通常涉及計算機(jī)聯(lián)網(wǎng)，具體但非排他地涉及用于使用隱式存儲器注冊執(zhí)行對RDMA傳輸?shù)牧骺刂啤?/p>

背景技術(shù)

遠(yuǎn)程直接存儲器訪問(RDMA)是一種直接存儲器訪問機(jī)制，其使計算機(jī)能夠訪問另一臺計算機(jī)的存儲器，而不涉及這些計算機(jī)的操作系統(tǒng)。RDMA通過使網(wǎng)絡(luò)適配器能夠向或從應(yīng)用存儲器直接傳輸數(shù)據(jù)來支持零拷貝聯(lián)網(wǎng)，從而消除了在應(yīng)用存儲器與操作系統(tǒng)中的數(shù)據(jù)緩沖區(qū)之間拷貝數(shù)據(jù)的需要。這種傳輸不需要CPU、高速緩存或者上下文切換進(jìn)行工作，并且傳輸持續(xù)與其它系統(tǒng)操作并行。當(dāng)一應(yīng)用執(zhí)行RDMA讀或?qū)懻埱髸r，應(yīng)用數(shù)據(jù)被直接遞送給網(wǎng)絡(luò)，從而降低了時延并加快了消息傳輸。

為了經(jīng)由用戶空間(即，由操作系統(tǒng)分配給應(yīng)用的非核心存儲器空間)與遠(yuǎn)程系統(tǒng)高效通信，傳統(tǒng)的RDMA設(shè)備需要預(yù)注冊的、預(yù)釘扎(pre-pinnd)的存儲器區(qū)域用于通過光纖通道網(wǎng)絡(luò)(fabric)或網(wǎng)絡(luò)進(jìn)行所有數(shù)據(jù)傳輸。這耗費(fèi)大量的能夠由其它應(yīng)用使用的系統(tǒng)存儲器。為了避免頁錯誤，通常可以將存儲器過度分配以(希望)解決較差情形的業(yè)務(wù)狀況。然而，在業(yè)務(wù)負(fù)載較重時，即便這種方法可能失敗，導(dǎo)致與分配給預(yù)釘扎的存儲器區(qū)域的存儲器量不足對應(yīng)的頁錯誤，致使暫時使用從本地或遠(yuǎn)程輔助存儲設(shè)備訪問的虛擬存儲器而不是系統(tǒng)存儲器；諸如硬盤驅(qū)動器之類的這些設(shè)備也具有與典型系統(tǒng)存儲器相比慢一個數(shù)量級或更慢的訪問速度。在傳統(tǒng)方法中，頁錯誤對于RDMA發(fā)送方是透明的，否則在該頁錯誤發(fā)生后被較好地間接識別(例如，在超時時段內(nèi)缺少確認(rèn)可以表明某種類型的錯誤或擁塞)。

在當(dāng)今市場上有多款支持RDMA的網(wǎng)絡(luò)接口卡(RNIC)，其提供開放源碼方法和私有方法兩者用于隱式存儲器注冊。它們都試圖移除為RDMA傳輸而預(yù)釘扎(pre-pinning)存儲器區(qū)域的需要。在這些情形中，RNIC本質(zhì)上充當(dāng)存儲器管理單元并提供與系統(tǒng)MMU的特定形式的同步。這種MMU同步雖然有許多形式，但本質(zhì)上都保證了：適配器將參與所有用戶存儲器區(qū)域訪問并將容忍數(shù)據(jù)傳輸期間的頁錯誤和頁釘扎(page?pinning)。這些分頁事件是不確定的并可能明顯延遲數(shù)據(jù)流，特別是當(dāng)系統(tǒng)忙時或當(dāng)所述錯誤需要從本地或網(wǎng)絡(luò)附著的驅(qū)動器分頁時。

附圖說明

通過結(jié)合附圖來參照下面的詳細(xì)描述，本發(fā)明的前述方面和多種附帶優(yōu)點(diǎn)變得被較好地理解，從而將變得更易了解，其中，除非另有規(guī)定，否則同樣的附圖標(biāo)記在各個方面指代同樣的部分：

圖1是示出與根據(jù)使用標(biāo)準(zhǔn)的傳送流控制機(jī)制的傳統(tǒng)方法的，針對RDMA目標(biāo)緩沖區(qū)的隱式存儲器注冊有關(guān)的頁錯誤的結(jié)果的示意圖；

圖2是示出根據(jù)一個實(shí)施例的，如何使用顯式流控制處理與針對RDMA目標(biāo)緩沖區(qū)的隱式存儲器注冊有關(guān)的頁錯誤的示意圖；

圖3是示出可以被用以實(shí)現(xiàn)本文所描述的各實(shí)施例的各方面的平臺配置的示意圖；

圖4是示出根據(jù)一個實(shí)施例的，利用隱式存儲器注冊和管道式緩沖區(qū)預(yù)分配的RDMA數(shù)據(jù)傳輸?shù)母鞣矫娴南⒘魇疽鈭D；以及

圖5是示出可以被用以實(shí)現(xiàn)本文所描述的各實(shí)施例的各方面的RNIC的架構(gòu)的示意圖。

具體實(shí)施方式

本文描述了用于使用隱式存儲器注冊來對RDMA傳輸執(zhí)行流控制的方法和裝置的實(shí)施例。在下面的描述中，大量具體的細(xì)節(jié)被給出以提供對本發(fā)明的各實(shí)施例的全面理解。然而，一名相關(guān)領(lǐng)域內(nèi)的熟練技術(shù)人員將認(rèn)識到，本發(fā)明可以不用這些具體的細(xì)節(jié)中的一個或多個、或者用其它方法、組件、材料等來實(shí)現(xiàn)。在其它情形中，公知的結(jié)構(gòu)、材料或操作未被詳細(xì)地示出或描述，以避免使本發(fā)明的各方面模糊不清。

貫穿說明書對“一個實(shí)施例”或“一實(shí)施例”的引用意味著結(jié)合該實(shí)施例描述的特定的特征、結(jié)構(gòu)或特性被包括在本發(fā)明的至少一個實(shí)施例中。因而，短語“在一個實(shí)施例中”或“在一實(shí)施例中”在本說明書各個地方的出現(xiàn)并不都指同一個實(shí)施例。此外，特定的特征、結(jié)構(gòu)或特性可以在一個或多個實(shí)施例中以任何恰當(dāng)方式合并。

根據(jù)當(dāng)前描述的各實(shí)施例的各方面，提供了一種新穎的通信方法，其使RDMA設(shè)備能避免預(yù)釘扎并能較好地容忍頁錯誤，這通過在線纜上提供顯式數(shù)據(jù)流確認(rèn)以避免對不必要的分組的傳輸和擁塞來實(shí)現(xiàn)。本文公開內(nèi)容描述了用于顯式流控制的架構(gòu)和方法，允許對一個或多個遠(yuǎn)程RDMA設(shè)備的優(yōu)化回壓。

顯式存儲器注冊和存儲器頁釘扎