[發明專利]分布式存儲系統及其數據處理方法

有效

• 申請號: 201910020649.2
• 申請日: 2019-01-09
• 公開（公告）號: CN111427860B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 劉俊峰;姚文輝;呂鵬程;常艷軍
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F21/60;G06F21/62
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 褚敏;宋子良

本申請公開了一種分布式存儲系統及其數據處理方法。其中，該方法包括：客戶端獲取寫操作對應的數據和密鑰信息；客戶端基于密鑰信息對寫操作對應的數據進行加密，得到加密數據；客戶端將加密數據發送至數據存儲節點。本申請解決了相關技術中的分布式存儲系統的數據處理方法處理效率低且占用內存大的技術問題。

技術領域

本申請涉及計算機領域，具體而言，涉及一種分布式存儲系統及其數據處理方法。

背景技術

分布式文件系統的某些應用場景下，出于數據安全的考慮，用戶的數據不能裸寫到磁盤上，以免其他人拿到磁盤后從中恢復出用戶的數據導致數據泄露，因此，需要在業務系統中提供數據加密功能，其中，在底層存儲系統提供數據加密功能能夠有效的防止重復開發，減少資源浪費。

相關技術中提供了多種數據加密方案，第一種方案為：用戶可以設置文件目錄為加密，新建在該目錄下的文件的數據都是經過加密的，用戶可以為不同的目錄設置不同的密鑰，當文件被創建時，文件的密鑰為最近父目錄的密鑰。當文件被創建時，namenode會從KMS(密鑰管理服務器，key?manager?service)獲取密鑰，然后存儲在namenode上，并將需要對data加密使用的密鑰返回給client端，用戶在使用client訪問文件時，client端會利用namenode返回的加密key和解密key對數據進行加解密。第二種方案為：用戶對已有的數據調用數據加密API(應用程序接口，Application?Programming?Interface)進行加密，并且要求加密的數據是不再改動的，加密的時候會對chunk進行分片。

但是，對于第一種方案，只能對設置加密的目錄下的文件進行加密，而且只能對新創建的文件的數據進行加密，改動量較大，處理效率低且占用內存大；另外，由于加密的密鑰都是由namenode獲取的，增加了namenode的壓力，namenode更容易成為集群瓶頸。對于第二種方案，加密后的數據寫入到分布式存儲系統中相當于后臺轉換，無法最大限度的保證數據安全，因此不適用于分布式存儲系統。

針對相關技術中的分布式存儲系統的數據處理方法處理效率低且占用內存大的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種分布式存儲系統及其數據處理方法，以至少解決相關技術中的分布式存儲系統的數據處理方法處理效率低且占用內存大的技術問題。

根據本申請實施例的一個方面，提供了一種分布式存儲系統的數據處理方法，包括：客戶端獲取寫操作對應的數據和密鑰信息；客戶端基于密鑰信息對寫操作對應的數據進行加密，得到加密數據；客戶端將加密數據發送至數據存儲節點。

根據本申請實施例的另一方面，還提供了一種分布式存儲系統，包括：客戶端，用于獲取寫操作對應的數據和密鑰信息，并基于密鑰信息對寫操作對應的數據進行加密，得到加密數據；數據存儲節點，與客戶端具有通信關系，用于對加密數據進行存儲。

根據本申請實施例的另一方面，還提供了一種存儲介質，存儲介質包括存儲的程序，其中，在程序運行時控制存儲介質所在設備執行如下步驟：客戶端獲取寫操作對應的數據和密鑰信息；客戶端基于密鑰信息對寫操作對應的數據進行加密，得到加密數據；客戶端將加密數據發送至數據存儲節點。

根據本申請實施例的另一方面，還提供了一種計算設備，包括：處理器，處理器用于運行程序，其中，在程序運行時執行以下步驟：客戶端獲取寫操作對應的數據和密鑰信息；客戶端基于密鑰信息對寫操作對應的數據進行加密，得到加密數據；客戶端將加密數據發送至數據存儲節點。

根據本申請實施例的另一方面，還提供了一種分布式存儲系統，包括：處理器；以及存儲器，與處理器連接，用于為處理器提供處理以下處理步驟的指令：客戶端獲取寫操作對應的數據和密鑰信息；客戶端基于密鑰信息對寫操作對應的數據進行加密，得到加密數據；客戶端將加密數據發送至數據存儲節點。