[發(fā)明專利]一種基于RDMA機(jī)制的并行輸入輸出方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201510828200.0
• 申請(qǐng)日: 2015-11-24
• 公開（公告）號(hào): CN105487815A
• 公開（公告）日: 2016-04-13
• 發(fā)明（設(shè)計(jì)）人: 房田文;徐金秀;漆鋒濱;周明忠;陳德訓(xùn)
• 申請(qǐng)（專利權(quán)）人: 無(wú)錫江南計(jì)算技術(shù)研究所
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京眾合誠(chéng)成知識(shí)產(chǎn)權(quán)代理有限公司 11246
• 代理人: 龔燮英

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，更具體地說(shuō)，本發(fā)明涉及一種基于 RDMA(RemoteDirectMemoryAccess，指遠(yuǎn)程直接內(nèi)存訪問(wèn))機(jī)制 的并行輸入輸出方法。

背景技術(shù)

為了提高I/O(輸入輸出)性能，分布式處理系統(tǒng)基本都采用并 行文件系統(tǒng)，對(duì)分布在集群內(nèi)各節(jié)點(diǎn)上的所有文件、設(shè)備和網(wǎng)絡(luò)資源 進(jìn)行全局訪問(wèn)，并且為用戶呈現(xiàn)出單一系統(tǒng)映像。并行文件系統(tǒng)具有 分布式、高性能、高擴(kuò)展等特點(diǎn)，非常適合數(shù)據(jù)共享需求和高性能計(jì) 算需求，但它也有一定的局限性，通常并行文件系統(tǒng)的穩(wěn)定性隨著規(guī) 模的增加而逐步下降，對(duì)小文件不太適合，高可擴(kuò)展也有一定的局限 性，有可能成為系統(tǒng)或應(yīng)用的瓶頸。

目前主流氣象格式在新版中已經(jīng)支持并行I/O功能，例如 NetCDF，通過(guò)非阻塞I/O，在并發(fā)讀寫的基礎(chǔ)上，能夠聚合多個(gè)客戶 端請(qǐng)求，實(shí)現(xiàn)更好的I/O性能。但科學(xué)與工程計(jì)算類應(yīng)用類型廣泛， 很多都有自己專用的數(shù)據(jù)格式，或者采用無(wú)格式數(shù)據(jù)格式，因此很有 必要研發(fā)一個(gè)面向一般科學(xué)與工程計(jì)算類應(yīng)用、支持一般數(shù)據(jù)格式的 并行I/O中間件，與應(yīng)用課題相對(duì)獨(dú)立，以減少用戶研發(fā)的難度和復(fù) 雜度。

也就是說(shuō)，雖然并行文件系統(tǒng)適合數(shù)據(jù)共享需求和高性能計(jì)算需 求，但它的穩(wěn)定性通常會(huì)隨著規(guī)模的增加而逐步下降，同時(shí)也不太適 合處理小文件的讀寫，在某些應(yīng)用中可能會(huì)成為性能瓶頸。氣象數(shù)據(jù) 格式雖然支持并行I/O功能，但其不具有通用性，無(wú)法應(yīng)用到其它的 科學(xué)與工程計(jì)算類應(yīng)用課題中。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)中存在上述缺陷，提 供一種基于RDMA機(jī)制的并行輸入輸出方法，其面向一般的科學(xué)與 工程計(jì)算類應(yīng)用課題，支持一般數(shù)據(jù)格式，主要用于解決大規(guī)模情況 下應(yīng)用課題的I/O瓶頸問(wèn)題。

為了實(shí)現(xiàn)上述技術(shù)目的，根據(jù)本發(fā)明，提供了一種基于RDMA 機(jī)制的并行輸入輸出方法，所述并行輸入輸出方法基于客戶端-服務(wù) 器架構(gòu)，所述并行輸入輸出方法包括：客戶端通過(guò)套接字端口向服務(wù) 器發(fā)送輸入輸出操作信息；客戶端通過(guò)InfiniBand端口向服務(wù)器傳送 輸入輸出操作數(shù)據(jù)；服務(wù)器根據(jù)接收到的輸入輸出操作信息和輸入輸 出操作數(shù)據(jù)統(tǒng)一進(jìn)行輸入輸出操作。

優(yōu)選地，所述輸入輸出操作是寫操作。

優(yōu)選地，所述輸入輸出操作信息和所述輸入輸出操作數(shù)據(jù)不具有 固定數(shù)據(jù)格式。

優(yōu)選地，所述輸入輸出操作信息和所述輸入輸出操作數(shù)據(jù)具有由 客戶端定義的數(shù)據(jù)格式。

根據(jù)本發(fā)明，還提供了一種基于RDMA機(jī)制的并行輸入輸出方 法，所述并行輸入輸出方法基于客戶端-服務(wù)器架構(gòu)，而且所述客戶 端-服務(wù)器架構(gòu)包括多個(gè)客戶端和一個(gè)服務(wù)器；其特征在于所述并行 輸入輸出方法包括：所述多個(gè)客戶端中的兩個(gè)或多個(gè)客戶端同時(shí)進(jìn)行 通過(guò)套接字端口向服務(wù)器發(fā)送輸入輸出操作信息并通過(guò)InfiniBand端 口向服務(wù)器傳送輸入輸出操作數(shù)據(jù)的操作；服務(wù)器根據(jù)從各個(gè)客戶端 接收到的輸入輸出操作信息和輸入輸出操作數(shù)據(jù)統(tǒng)一進(jìn)行各個(gè)輸入 輸出操作。

優(yōu)選地，所述輸入輸出操作是寫操作。

優(yōu)選地，所述輸入輸出操作信息和所述輸入輸出操作數(shù)據(jù)不具有 固定數(shù)據(jù)格式。

優(yōu)選地，所述輸入輸出操作信息和所述輸入輸出操作數(shù)據(jù)具有由 客戶端定義的數(shù)據(jù)格式。

本發(fā)明的優(yōu)點(diǎn)在于：某些科學(xué)與工程計(jì)算類應(yīng)用課題在大規(guī)模情 況下存在I/O瓶頸問(wèn)題，如WRF，在高分辨率預(yù)報(bào)大規(guī)模運(yùn)行時(shí)，I/O 時(shí)間與計(jì)算時(shí)間相當(dāng)，I/O已嚴(yán)重影響到其性能；通過(guò)采用本發(fā)明， 可避免這種I/O瓶頸問(wèn)題，同時(shí)本發(fā)明對(duì)數(shù)據(jù)格式?jīng)]有特定要求，用 戶可自定義自己需要的數(shù)據(jù)格式；對(duì)于某些專用的數(shù)據(jù)格式，如果采 用本發(fā)明的I/O技術(shù)，可將并行I/O功能擴(kuò)展到該專用數(shù)據(jù)格式，潛 在應(yīng)用場(chǎng)景廣泛。

附圖說(shuō)明

結(jié)合附圖，并通過(guò)參考下面的詳細(xì)描述，將會(huì)更容易地對(duì)本發(fā)明 有更完整的理解并且更容易地理解其伴隨的優(yōu)點(diǎn)和特征，其中：

圖1示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于RDMA機(jī)制 的并行輸入輸出方法的流程圖。

圖2示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于RDMA機(jī)制 的并行輸入輸出方法的通信示意。

圖3示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于RDMA機(jī)制 的并行輸入輸出方法的系統(tǒng)示意圖。