[發明專利]基于糾刪碼的分布式數據存儲方法及系統

有效

• 申請號: 201410814840.1
• 申請日: 2014-12-23
• 公開（公告）號: CN105791353B
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 王炎
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L1/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 蔣雅潔;張穎玲

1.一種基于糾刪碼的分布式數據存儲方法，其特征在于，包括：

客戶端將待存儲數據寫入緩存服務器中；

所述緩存服務器對所述待存儲數據進行緩存；

當達到預定條件時，中轉服務器向所述緩存服務器拉取預定大小的緩存數據，對所述緩存數據使用糾刪碼編碼方式進行編碼并生成校驗數據；以及

所述中轉服務器將所述緩存數據寫入存儲服務器的多個數據塊中，將所述校驗數據寫入所述存儲服務器的至少一個校驗塊中。

2.如權利要求1所述的方法，其特征在于，所述預定條件包括：

所述緩存服務器中所緩存的數據的大小達到所述預定大小；或

所述客戶端寫入數據的操作超過預定時長；或者

所述緩存服務器出現故障。

3.如權利要求1所述的方法，其特征在于，所述方法還包括：

所述客戶端向所述緩存服務器發送數據獲取請求；

所述緩存服務器根據所述數據獲取請求查找本地是否存儲有所述待獲取數據，如果有，則直接將所述待獲取數據返回所述客戶端，否則，將所述數據獲取請求發送給所述存儲服務器；以及

當所述存儲服務器接收到所述數據獲取請求時，查找所述待獲取數據，并將所述待獲取數據通過所述緩存服務器返回所述客戶端，所述客戶端對所述存儲服務器返回的數據進行解碼。

4.如權利要求1所述的方法，其特征在于，所述每個數據塊或每個校驗塊均分別單獨對應于所述存儲服務器的多個設備中的一個設備，在對應于所述多個數據塊的多個設備中各自存儲有自身的數據索引信息，在對應于至少一個校驗塊的至少一個設備中各自存儲有所述多個數據塊的所有數據索引信息。

5.一種基于糾刪碼的分布式數據存儲系統，其特征在于，包括：客戶端、緩存服務器、中轉服務器以及存儲服務器，

所述客戶端用于將待存儲數據寫入所述緩存服務器中；

所述緩存服務器用于對所述待存儲數據進行緩存；

當達到預定條件時，所述中轉服務器向所述緩存服務器拉取預定大小的緩存數據，對所述緩存數據使用糾刪碼編碼方式進行編碼并生成校驗數據；以及

所述中轉服務器還用于將所述緩存數據寫入存儲服務器的多個數據塊中，將所述校驗數據寫入所述存儲服務器的至少一個校驗塊中。

6.如權利要求5所述的系統，其特征在于，所述預定條件包括：

所述緩存服務器中所緩存的數據的大小達到所述預定大小；或者

所述客戶端寫入數據的操作超過預定時長；或者

所述緩存服務器出現故障。

7.如權利要求5所述的系統，其特征在于，

所述客戶端還用于向所述緩存服務器發送數據獲取請求；

所述緩存服務器還用于根據所述數據獲取請求查找本地是否存儲有所述待獲取數據，如果有，則直接將所述待獲取數據返回所述客戶端，否則，將所述數據獲取請求發送給所述存儲服務器；

當所述存儲服務器接收到所述數據獲取請求時，所述存儲服務器還用于查找所述待獲取數據，并將所述待獲取數據通過所述緩存服務器返回所述客戶端，所述客戶端還用于對所述存儲服務器返回的數據進行解碼。

8.如權利要求5所述的系統，其特征在于，所述每個數據塊或每個校驗塊均分別單獨對應于所述存儲服務器的多個設備中的一個設備，在對應于所述多個數據塊的多個設備中各自存儲有自身的數據索引信息，在對應于至少一個校驗塊的至少一個設備中各自存儲有所述多個數據塊的所有數據索引信息。