[發明專利]數據處理方法、存儲節點及分布式存儲系統

在審

• 申請號: 201711235155.3
• 申請日: 2017-11-30
• 公開（公告）號: CN108008918A
• 公開（公告）日: 2018-05-08
• 發明（設計）人: 溫利娟;楊杰;李光輝
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 田媛媛;王寶筠

1.一種數據處理方法，其特征在于，應用于分布式存儲系統的第一存儲節點，所述方法包括：

接收文件寫入請求；

響應所述文件寫入請求，確定所述第一存儲節點是否存儲有與待寫入的第一數據塊相同的數據塊，所述第一數據塊通過對待寫入的文件進行分塊處理產生；

在所述第一存儲節點未存儲與所述第一數據塊相同的數據塊的情況下，將所述第一數據塊存儲于所述第一存儲節點，在所述第一存儲節點建立所述第一數據塊的索引信息，建立所述第一數據塊的塊號和所述索引信息的對應關系；

在所述第一存儲節點存儲有與所述第一數據塊相同的另一數據塊的情況下，修改所述另一數據塊的索引信息中的引用次數，建立所述第一數據塊的塊號和與所述另一數據塊的索引信息的對應關系；

其中，數據塊的索引信息包括所述數據塊的存儲地址信息。

2.根據權利要求1所述的方法，其特征在于，還包括：

在滿足預設條件的情況下，確定所述分布式存儲系統的全局索引信息是否包含所述第一數據塊的索引信息；

在所述全局索引信息包含所述第一數據塊的索引信息的情況下，刪除所述第一存儲節點存儲的第一數據塊，修改所述全局索引信息中所述第一數據塊的索引信息中的引用次數，刪除所述第一存儲節點存儲的第一數據塊的索引信息；

在所述全局索引信息不包含所述第一數據塊的索引信息的情況下，在所述全局索引信息中添加所述第一數據塊的索引信息。

3.根據權利要求2所述的方法，其特征在于，還包括：

接收文件讀取請求；

響應所述文件讀取請求，對待讀取的文件進行分塊處理，獲得待讀取的數據塊的塊號；

根據所述待讀取的數據塊的塊號在所述第一存儲節點查找所述待讀取的數據塊的索引信息；

如果在所述第一存儲節點查找到所述待讀取的數據塊的索引信息，則根據查找到的索引信息中的存儲地址信息讀取數據塊；

如果未在所述第一存儲節點查找到所述待讀取的數據塊的索引信息，則在所述全局索引信息中查找所述待讀取的數據塊的索引信息，根據查找到的索引信息中的存儲地址信息讀取數據塊；

向客戶端反饋讀取到的數據塊。

4.根據權利要求1、2或3所述的方法，其特征在于，數據塊的索引信息采用鍵值對的數據結構，其中，鍵為數據塊的指紋值，值為數據塊的描述信息，所述數據塊的描述信息包括引用次數和所述數據塊的存儲地址信息。

5.根據權利要求4所述的方法，其特征在于，所述確定所述第一存儲節點是否存儲有與待寫入的第一數據塊相同的數據塊，包括：

獲得所述第一數據塊的指紋值；

在所述第一存儲節點存儲有以所述第一數據塊的指紋值作為鍵的鍵值對的情況下，確定所述第一存儲節點存儲有與待寫入的第一數據塊相同的數據塊；

在所述第一存儲節點未存儲以所述第一數據塊的指紋值作為鍵的鍵值對的情況下，確定所述第一存儲節點未存儲與待寫入的第一數據塊相同的數據塊。

6.一種存儲節點，其特征在于，包括通信接口、處理器和存儲器：

所述通信接口用于接收文件寫入請求；

所述處理器用于響應所述文件寫入請求，確定所述存儲器是否存儲有與待寫入的第一數據塊相同的數據塊，所述第一數據塊通過對待寫入的文件進行分塊處理產生；在所述存儲器未存儲與所述第一數據塊相同的數據塊的情況下，將所述第一數據塊存儲于所述存儲器，在所述存儲器建立所述第一數據塊的索引信息，建立所述第一數據塊的塊號和所述索引信息的對應關系；在所述存儲器存儲有與所述第一數據塊相同的另一數據塊的情況下，修改所述另一數據塊的索引信息中的引用次數，建立所述第一數據塊的塊號和所述另一數據塊的索引信息的對應關系；其中，數據塊的索引信息包括所述數據塊的存儲地址信息；

所述存儲器用于存儲數據塊、索引信息、以及數據塊的塊號和索引信息的對應關系。