[發明專利]文件的存儲方法、裝置和服務器

在審

• 申請號: 202110477212.9
• 申請日: 2021-04-29
• 公開（公告）號: CN113032357A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 彭崗;崔洋;殷文莉;饒彭彥
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F21/60;G06F21/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;王濤

本說明書提供了文件的存儲方法、裝置和服務器。Hadoop集群中的節點服務器在獲取待存儲的目標文件之后，先根據預設的分片規則，將目標文件的明文數據按順序切分為多個分片數據；同時，確定并根據各個分片數據關于目標文件的關聯參數，為各個分片數據設置對應的關聯標識；再調用HDFS分布式文件系統中的多個處理節點，利用預設的加密規則，并行對多個分片數據分別進行加密處理，得到多個分片數據的密文數據；根據關聯標識，按順序合并多個分片數據的密文數據，得到目標文件的密文數據，并進行存儲。從而可以充分利用HDFS分布式文件系統的分布式特性，通過并行的方式，安全、高效地對數據量較大的目標文件加密后再進行云存儲。

技術領域

本說明書屬于大數據技術領域，尤其涉及文件的存儲方法、裝置和服務器。

背景技術

隨著云存儲服務的推廣和普及，越來越多的用戶開始習慣使用云存儲服務來存儲數據文件，同時用戶對于云存儲服務的要求也變得越來越高。

具體的，在一些應用場景中，用戶所需要存儲的數據文件的數據量往往比較龐大，例如，可能會達到十幾個TB，但用戶希望能夠較為高效地通過云端存儲并讀取上述數據文件；此外，上述需要存儲的數據文件的數據內容對用戶而言通常較為重要、敏感，可能還會涉及到用戶的隱私數據，用戶不希望所存儲的上述數據文件遭到泄露，對數據文件安全性要求較高。

而基于現有的文件存儲方法，往往很難滿足上述應用場景中的用戶需求，無法安全、高效地對數據量龐大的數據文件進行存儲和讀取，進而影響了用戶的使用體驗。

針對上述問題，目前尚未提出有效的解決方案。

發明內容

本說明書提供了一種文件的存儲方法、裝置和服務器，能夠充分利用基于Hadoop集群的HDFS分布式文件系統的分布式特性，通過并行處理的方式，安全、高效地對數據量較大的目標文件加密后再進行云存儲，提高了目標文件的存儲和讀取效率，保護了目標文件的數據安全，改善了用戶的使用體驗。

本說明書實施例提供了一種文件的存儲方法，所述方法應用于Hadoop集群，包括：

獲取待存儲的目標文件的明文數據；

根據預設的分片規則，將所述目標文件的明文數據按順序切分為多個分片數據；

確定并根據所述分片數據關于目標文件的關聯參數，為所述分片數據設置對應的關聯標識；

調用HDFS分布式文件系統中的多個處理節點，利用預設的加密規則，并行對所述多個分片數據進行加密處理，得到多個分片數據的密文數據；

根據關聯標識，按順序合并所述多個分片數據的密文數據，得到目標文件的密文數據；

存儲所述目標文件的密文數據。

在一些實施例中，所述目標文件所包含的數據包括以下至少之一：網站用戶的交易記錄、網站用戶的賬戶數據、網站用戶的通信記錄。

在一些實施例中，根據預設的分片規則，將所述目標文件的明文數據按順序切分為多個分片數據，包括：

根據目標文件的數據特征，將所述目標文件的明文數據劃分為多個分片數據；其中，所述數據特征包括以下至少之一：數據的來源標識、數據的生成時間、數據的類型。

在一些實施例中，所述預設的加密規則包括基于同態加密算法的加密規則。

在一些實施例中，調用HDFS分布式文件系統中的多個處理節點，利用預設的加密規則，并行對所述多個分片數據進行加密處理，得到多個分片數據的密文數據，包括：

根據預設的加密規則，生成與所述目標文件對應的公鑰和私鑰；并將所述公鑰和所述多個分片數據分配給HDFS分布式文件系統中的多個處理節點；