[發(fā)明專利]一種基于分布式存儲的數(shù)據(jù)處理方法及裝置

在審

• 申請?zhí)枺?/td>: 202011339302.3
• 申請日: 2020-11-25
• 公開（公告）號: CN112596669A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設計）人: 鐘晉明;彭洪淵;管樹發(fā)
• 申請（專利權）人: 新華三云計算技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請涉及數(shù)據(jù)存儲技術領域，特別涉及一種基于分布式存儲的數(shù)據(jù)處理方法及裝置。所述分布式存儲中各存儲節(jié)點分別配置有對應的智能網卡，各智能網卡上運行分布式存儲服務，所述各智能網卡分別與其對應的存儲節(jié)點上用于管理本地存儲資源的控制器建立數(shù)據(jù)通道，所述方法包括：智能網卡接收客戶端發(fā)送的數(shù)據(jù)讀寫請求；所述智能網卡向其對應的存儲節(jié)點上用于管理本地存儲資源的控制器轉發(fā)所述數(shù)據(jù)讀寫請求，以使得所述控制器通過其對應的數(shù)據(jù)通道對所述數(shù)據(jù)讀寫請求進行數(shù)據(jù)處理，并將處理結果發(fā)送至所述智能網卡；所述智能網卡接收所述控制器發(fā)送的處理結果，并將所述處理結果轉發(fā)至所述客戶端。

技術領域

本申請涉及數(shù)據(jù)存儲技術領域，特別涉及一種基于分布式存儲的數(shù)據(jù)處理方法及裝置。

背景技術

分布式存儲，是將數(shù)據(jù)分散存儲在多臺獨立的設備上。傳統(tǒng)的網絡存儲系統(tǒng)采用集中的存儲服務器存放所有數(shù)據(jù)，存儲服務器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規(guī)模存儲應用的需要。分布式網絡存儲系統(tǒng)采用可擴展的系統(tǒng)結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。

傳統(tǒng)的Serversan(軟件定義存儲)分布式存儲架構為：服務器上配置普通網卡，分布式存儲軟件運行在主機的x86CPU上。節(jié)點間通信采用TCP協(xié)議，經內核網絡協(xié)議棧。各節(jié)點上分布式存儲管理物理主機本地(PCIe)的NVMe設備。集群聯(lián)動對外提供存儲服務，并保證存儲數(shù)據(jù)的一致性。

然而，傳統(tǒng)的分布式存儲架構中，運行在物理機上的分布式存儲軟件會占用物理機的cpu，內存等系統(tǒng)資源；與虛擬機共用物理機cpu資源，分布式存儲軟件占用的cpu數(shù)量會影響可建立的虛擬機數(shù)量。運行在物理機的分布式存儲性能會受物理機OS和虛擬機運行的影響。運行在物理機的分布式存儲軟件管理其本地存儲資源，也需要消耗一部分系統(tǒng)資源，即通過系統(tǒng)調用訪問抽象的塊層。

發(fā)明內容

本申請?zhí)峁┝艘环N基于分布式存儲的數(shù)據(jù)處理方法及裝置，用以解決現(xiàn)有技術中存在的存儲服務器系統(tǒng)資源緊張而導致存儲服務可靠性不高的問題。

第一方面，本申請?zhí)峁┝艘环N基于分布式存儲的數(shù)據(jù)處理方法，所述分布式存儲中各存儲節(jié)點分別配置有對應的智能網卡，各智能網卡上運行分布式存儲服務，所述各智能網卡分別與其對應的存儲節(jié)點上用于管理本地存儲資源的控制器建立數(shù)據(jù)通道，所述方法包括：

智能網卡接收客戶端發(fā)送的數(shù)據(jù)讀寫請求；

所述智能網卡向其對應的存儲節(jié)點上用于管理本地存儲資源的控制器轉發(fā)所述數(shù)據(jù)讀寫請求，以使得所述控制器通過其對應的數(shù)據(jù)通道對所述數(shù)據(jù)讀寫請求進行數(shù)據(jù)處理，并將處理結果發(fā)送至所述智能網卡；

所述智能網卡接收所述控制器發(fā)送的處理結果，并將所述處理結果轉發(fā)至所述客戶端。

可選地，智能網卡接收客戶端發(fā)送的數(shù)據(jù)讀寫請求之前，所述方法還包括：

智能網卡基于用戶配置進行初始化操作，以使得所述智能網卡運行分布式存儲服務，并使得所述智能網卡與其對應的存儲節(jié)點上用于管理本地存儲資源的控制器建立數(shù)據(jù)通道。

可選地，智能網卡基于用戶配置進行初始化操作，以使得所述智能網卡運行分布式存儲服務的步驟包括：

智能網卡基于用戶下發(fā)的配置指令，在本地運行分布式存儲服務，并與其它運行有分布式存儲服務的智能網卡組成分布式存儲服務集群。

可選地，智能網卡基于用戶配置進行初始化操作，以使得所述智能網卡與其對應的存儲節(jié)點上用于管理本地存儲資源的控制器建立數(shù)據(jù)通道的步驟包括：