[發明專利]數據存儲方法和客戶端代理

在審

• 申請號: 201811618513.3
• 申請日: 2018-12-28
• 公開（公告）號: CN109815207A
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 胡瑞欽
• 申請（專利權）人: 深圳市安云信息科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

本發明提供一種數據存儲方法和客戶端代理，在客戶端與存儲設備之間設置至少一個客戶端代理，任一客戶端代理連接的存儲設備包括：N個文件節點服務器和M個元數據節點服務器，M、N≥2；客戶端代理接收到客戶端的寫請求時，復制寫請求對應的第一目標文件至少一份，將第一目標文件及其復制文件寫入不同的文件節點服務器，復制第一目標文件對應的第一元數據文件至少一份，更新第一元數據文件及其復制文件中的文件存儲地址信息，將第一元數據文件及其復制文件寫入不同的元數據節點服務器。本發明的客戶端代理，結構簡單，擴展性強，其數據存儲方法具備高可用和容災備份能力。

技術領域

本發明涉及計算機領域，特別涉及一種數據存儲方法和客戶端代理。

背景技術

隨著信息化的深入開展，各行各業的業務系統所產生的數據越來越多，由于傳統的集中式存儲方案(集中式存儲是指為待存儲的數據制定一個特定的存儲區域，如數據中心主機，將所有都存儲在該區域中)將所有的數據均存儲在數據中心主機上，若數據中心主機出故障，則整個系統無法存儲和提取數據，即集中式存儲方案相較于分布式數據存儲，數據穩定性較低，故而分布式數據存儲應運而生。

分布式數據存儲系統既具有集群系統的可擴/縮容的特性，又可以進行分布式操作。因此，在數據存儲量發生變化時，分布式數據存儲系統能夠通過增加/移除集群中的節點服務器(或數據存儲節點)實現對分布式數據存儲系統的擴/縮容。

在現有的分布式數據存儲系統中，通?？梢圆捎靡恢滦怨Ｋ惴▽哼M行分片，而后根據鍵值對數據(key-value)等進行存儲。但是此種存儲系統在存儲數據量發生變化而需要增加/移除節點服務器時，由于一致性哈希算法的限制，使得相鄰存儲節點的鍵值(key)映射發生的變化，容易導致數據的丟失，集群擴展性差。

發明內容

有鑒于此，本發明提供一種數據存儲方法和客戶端代理，以解決分布式數據存儲系統數據容易丟失和擴展性差的問題。

本發明提供一種數據存儲方法，在客戶端與存儲設備之間設置至少一個客戶端代理，任一客戶端代理連接的存儲設備包括：N個文件節點服務器和M個元數據節點服務器，M、N≥2；

客戶端代理接收到客戶端的寫請求時，復制寫請求對應的第一目標文件至少一份，將第一目標文件及其復制文件寫入不同的文件節點服務器，復制第一目標文件對應的第一元數據文件至少一份，更新第一元數據文件及其復制文件中的文件存儲地址信息，將第一元數據文件及其復制文件寫入不同的元數據節點服務器。

一種客戶端代理，在客戶端與存儲設備之間設置至少一個客戶端代理，任一客戶端代理連接的存儲設備包括：N個文件節點服務器和M個元數據節點服務器，M、N≥2；

客戶端代理接收到客戶端的寫請求時，復制寫請求對應的第一目標文件至少一份，將第一目標文件及其復制文件寫入不同的文件節點服務器，復制第一目標文件對應的第一元數據文件至少一份，更新第一元數據文件及其復制文件中的文件存儲地址信息，將第一元數據文件及其復制文件寫入不同的元數據節點服務器。

本發明的數據存儲方法，通過設置客戶端代理，將客戶端的文件及其元數據文件(或復制)復制多份，然后分散保存到不同文件節點服務器和元數據節點服務器，即使一個節點出現故障，也不會丟失文件，使得整個系統具有高可用和容災備份能力。

另一方面，本申請未采用哈希算法，而是將文件的存儲地址保存到元數據文件中，當存儲數據量發生變化而需要增加/移除節點服務器時，不受哈希算法的限制，文件的不會丟失，且該系統結構簡單、易于擴展。

附圖說明

圖1為本發明存儲系統第一架構圖；

圖2為本發明存儲系統第二架構圖；

圖3為本發明存儲系統第三架構圖；

圖4為本發明數據存儲方法的流程圖。