[發(fā)明專利]數(shù)據(jù)處理方法及基于NVMe-oF協(xié)議的存儲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110266793.1
• 申請日: 2021-03-11
• 公開（公告）號: CN113014662A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計）人: 張勝玉
• 申請（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京金信知識產(chǎn)權(quán)代理有限公司 11225
• 代理人: 喻嶸

本公開涉及一種數(shù)據(jù)處理方法及基于NVMe?oF協(xié)議的存儲系統(tǒng)，應(yīng)用于存儲系統(tǒng)中的第一節(jié)點的數(shù)據(jù)處理方法包括：接收第一讀寫請求，其中，所述第一讀寫請求攜帶有待讀寫的目標(biāo)數(shù)據(jù)的讀寫控制信息，所述讀寫控制信息用于確定所述目標(biāo)數(shù)據(jù)的目標(biāo)存儲節(jié)點；確定所述第二節(jié)點為所述目標(biāo)存儲節(jié)點；向所述第二節(jié)點發(fā)送第二讀寫請求，其中，所述第二讀寫請求中攜帶有第二客戶端標(biāo)識信息，所述第二客戶端標(biāo)識信息用于對所述第二節(jié)點進(jìn)行讀寫操作，將所述目標(biāo)數(shù)據(jù)寫入所述第二節(jié)點或從所述第二節(jié)點讀取所述目標(biāo)數(shù)據(jù)。本公開提供的方法在進(jìn)行數(shù)據(jù)讀寫時，能夠大大減少了各存儲節(jié)點之間傳輸?shù)臄?shù)據(jù)量，降低了各存儲節(jié)點間的帶寬，同時也減少了數(shù)據(jù)讀寫的延遲。

技術(shù)領(lǐng)域

本公開涉及分布式文件存儲技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)處理方法及基于NVMe-oF協(xié)議的存儲系統(tǒng)。

背景技術(shù)

在分布式存儲以及雙控、多控的存儲中，通常通過NVMe over Fabrics(NVMe-oF)方式導(dǎo)出卷(劃定的存儲空間)給客戶端，以供客戶端使用?？蛻舳丝梢酝瑫r從多個存儲節(jié)點(簡稱節(jié)點)掛載同一個卷，即客戶端可以訪問到存儲系統(tǒng)中的任何一個節(jié)點，并且使用多路徑(multipath)實現(xiàn)應(yīng)用的高可用性，也就是當(dāng)一個節(jié)點停止工作時，其他節(jié)點仍然可以提供服務(wù)。而多路徑工作模式主要分為輪詢(round robin)、故障轉(zhuǎn)移(failover)等模式。輪詢可以執(zhí)行存儲器空間的讀取以確定新的I/O(數(shù)據(jù)的寫入或讀取)是否可用于處理。當(dāng)采用輪詢模式時，客戶端會根據(jù)自身需要依次將不同的I/O發(fā)送給連接到的節(jié)點，在標(biāo)準(zhǔn)協(xié)議中，客戶端并不清楚數(shù)據(jù)塊在什么位置，因此會產(chǎn)生節(jié)點間的數(shù)據(jù)轉(zhuǎn)發(fā)，從而造成額外的帶寬損失和延遲增加。例如，客戶端同時通過NVMe over Fabrics over RDMA連接到兩個節(jié)點時，客戶端通過multipath策略將數(shù)據(jù)寫入到節(jié)點1，而數(shù)據(jù)塊在節(jié)點2或者需要復(fù)制到節(jié)點2的情況下，需要將數(shù)據(jù)從節(jié)點1轉(zhuǎn)發(fā)至節(jié)點2，由于數(shù)據(jù)需要在不同的節(jié)點間進(jìn)行轉(zhuǎn)發(fā)，使得各節(jié)點之間需要較多的帶寬，會造成帶寬損失；同時，數(shù)據(jù)在各節(jié)點之間的轉(zhuǎn)發(fā)也使得數(shù)據(jù)的寫入或讀取存在延遲。

發(fā)明內(nèi)容

本公開實施例提供了一種數(shù)據(jù)處理方法及基于NVMe-oF協(xié)議的存儲系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的上述問題。

根據(jù)本公開的方案之一，提供一種數(shù)據(jù)處理方法，應(yīng)用于基于NVMe-oF協(xié)議的存儲系統(tǒng)中的第一節(jié)點，所述存儲系統(tǒng)還包括不同于所述第一節(jié)點的第二節(jié)點，所述第一節(jié)點和所述第二節(jié)點連接，所述方法包括：

接收第一讀寫請求，其中，所述第一讀寫請求攜帶有待讀寫的目標(biāo)數(shù)據(jù)的讀寫控制信息，所述讀寫控制信息用于確定所述目標(biāo)數(shù)據(jù)的目標(biāo)存儲節(jié)點；

確定所述第二節(jié)點為所述目標(biāo)存儲節(jié)點；

向所述第二節(jié)點發(fā)送第二讀寫請求，其中，所述第二讀寫請求中攜帶有第二客戶端標(biāo)識信息，所述第二客戶端標(biāo)識信息用于對所述第二節(jié)點進(jìn)行讀寫操作，將所述目標(biāo)數(shù)據(jù)寫入所述第二節(jié)點或從所述第二節(jié)點讀取所述目標(biāo)數(shù)據(jù)。

在一些實施例中，所述讀寫控制信息包括待讀寫的所述目標(biāo)數(shù)據(jù)的讀寫位置信息、內(nèi)存密鑰、內(nèi)存長度、目標(biāo)寫入或讀取偏移、數(shù)據(jù)塊的類型或數(shù)據(jù)塊的數(shù)量中的至少一種。

在一些實施例中，確定所述第二節(jié)點為所述目標(biāo)存儲節(jié)點，包括：

根據(jù)所述讀寫控制信息從預(yù)設(shè)的節(jié)點-數(shù)據(jù)塊映射表中查找所述第二節(jié)點，其中，所述節(jié)點-數(shù)據(jù)塊映射表包括所述存儲系統(tǒng)中的各存儲節(jié)點及對應(yīng)的數(shù)據(jù)塊信息；

將查找出的與所述讀寫控制信息中的第二控制信息對應(yīng)的所述第二節(jié)點確定為所述目標(biāo)存儲節(jié)點。

在一些實施例中，所述方法還包括：

基于確定的所述第二節(jié)點獲取所述第二客戶端標(biāo)識信息；

將所述第二客戶端標(biāo)識信息和所述讀寫控制信息中與所述第二節(jié)點對應(yīng)的第二控制信息進(jìn)行封裝，生成所述第二讀寫請求。