[發明專利]存儲設備、分布式存儲系統以及數據處理方法

在審

• 申請號: 201911109237.2
• 申請日: 2019-11-13
• 公開（公告）號: CN111104459A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 劉進忠;張洪崠
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F13/16;G06F13/42;H04L29/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 顏晶

本申請提供了一種存儲設備、分布式存儲系統以及數據處理方法，屬于存儲技術領域。本申請通過在存儲設備內部設置AI裝置，使得該存儲設備具有AI計算的能力。另外，由于存儲設備還包括處理器和硬盤，因此還具有業務數據存儲的能力，從而實現了存儲與AI算力的融合。AI參數以及業務數據在存儲設備的內部通過高速互聯網絡進行傳輸，而無需經過外部網絡的轉發，因此極大地縮短了業務數據以及AI參數的傳輸路徑，能夠近距離地載入業務數據，從而提高了加載速度。

本申請要求于2019年8月22日提交的申請號為201910779723.9、發明名稱為“存儲設備、AI芯片、存儲系統及AI計算方法”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。

技術領域

本申請涉及存儲技術領域，特別涉及一種存儲設備、分布式存儲系統以及數據處理方法。

背景技術

隨著存儲技術以及人工智能(artificial intelligence，AI)技術的發展，存儲設備中可以存儲用于AI計算的業務數據，該業務數據例如可以是用于模型訓練的樣本集，比如說用于訓練人臉識別模型的人臉圖片集、用于訓練語音識別模型的音頻樣本集、用于訓練語義識別模型的樣本文本等。

以人臉圖片集為例，由于待計算的數據量龐大，單個服務器已經不能滿足計算需求，因此目前主流架構為多設備的集群式架構。在該架構中，包括AI集群、存儲集群和交換機。其中AI集群由多個AI服務器組成，用于進行AI計算；存儲集群由多個存儲設備組成，用于存儲業務數據；交換機用于在AI服務器與存儲設備之間轉發業務數據。在AI計算的過程中，AI服務器基于傳輸控制協議/因特網互聯協議(transmission control protocol/internet protocol，TCP/IP)協議，與存儲設備建立遠程的網絡連接。當AI服務器要獲取AI計算所需的業務數據時，會通過交換機向存儲設備發送數據獲取請求，存儲設備接收數據獲取請求后，通過交換機向AI服務器發送存儲的業務數據。然后，AI服務器再將該業務數據加載至內存，進行AI計算。

在上述架構中，業務數據要從存儲設備通過網絡發送至交換機，再通過網絡從交換機發送至AI服務器，才能讓AI服務器得到業務數據來進行AI計算，可見AI計算的過程中獲取業務數據的路徑過長，造成獲取業務數據的速度過慢，導致獲取業務數據的效率低下。

發明內容

本申請實施例提供了一種存儲設備、分布式存儲系統以及數據處理方法，能夠解決相關技術中業務數據獲取速度過慢、獲取效率低下的技術問題。所述技術方案如下：

第一方面，提供了一種存儲設備，包括處理器、硬盤和AI裝置，所述AI裝置和所述處理器之間通過高速互聯網絡通信；所述處理器，用于接收業務數據，并將所述業務數據存儲至所述硬盤中；所述AI裝置，用于向所述處理器發送數據獲取請求以獲取所述業務數據，并對所述業務數據進行AI計算。

本實施例提供的存儲設備，內部設置有AI裝置，該存儲設備既可以通過AI裝置，提供AI計算的能力，又可以通過存儲設備中的處理器和硬盤，提供業務數據存儲的能力，從而實現了存儲與AI算力的融合。當需要進行AI計算時，業務數據在存儲設備的內部通過高速互聯網絡進行傳輸，而無需經過外部網絡的轉發，因此極大地縮短了業務數據的傳輸路徑，能夠近距離地載入業務數據，從而提高了加載速度。可選地，所述數據獲取請求包括第一數據獲取請求；所述處理器，用于響應于所述第一數據獲取請求，從所述硬盤中獲取所述業務數據，并將所述業務數據發送給所述AI裝置。通過該方式，提供了一種AI裝置就近獲取業務數據的方法，由于存儲設備內部包含了AI裝置、處理器和硬盤，當AI裝置要獲取業務數據時，通過向處理器發送數據獲取請求，由存儲設備的處理器從本地的硬盤中獲取業務數據，發送給AI處理器，使得AI處理器能夠從本地得到業務數據，免去了通過網絡向遠端存儲設備請求業務數據帶來的通信開銷，從而節省了獲取業務數據的時延。