[發明專利]一種分布式多集群的數據存儲方法、裝置及存儲介質

有效

• 申請號: 202210131409.1
• 申請日: 2022-02-14
• 公開（公告）號: CN114238240B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 劉江
• 申請（專利權）人: 柏科數據技術（深圳）股份有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172;G06F16/182
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 溫宏梅

本發明公開了一種分布式多集群的數據存儲方法、裝置及存儲介質，方法包括：獲取待存儲文件數據，并根據待存儲文件數據搜索集群服務器中與待存儲文件數據匹配的文件數據；若集群服務器中不存在與待存儲文件數據匹配的文件數據，則對待存儲文件進行加密處理，并將加密處理后的待存儲文件數據存儲至目標服務器中；生成用于下載待存儲文件的快捷文件鏈接，并將快捷文件鏈接存儲至集群服務器中的穩定節點中。本發明通過將待存儲文件數據進行對比查重，然后再儲存至目標服務器中，節省了儲存效率。并且將待存儲文件的快捷文件鏈接存儲至集群服務器中的穩定節點中，方便各服務器之間數據的快速查找和下載。

技術領域

本發明涉及數據存儲技術領域，尤其涉及一種分布式多集群的數據存儲方法、裝置及存儲介質。

背景技術

集群儲存是指：由若干個“通用儲存設備”組成的用于儲存的集群，組成集群儲存的每個儲存系統的性能和容量均可通過“集群”的方式得以疊加和擴展。傳統的數據存儲方法由于受到其物理組成（例如:控制器性能，總線性能，磁盤驅動器的數量，所連接服務器的數量，內存大小，NAS頭的性能等）的限制，以及功能上的局限（例如:支持文件系統的容量，元數據和數據處理通路的耦合，快照或復制的數量等），造成了數據存儲瓶頸的出現，影響了存儲效率。

因此，現有技術還有待改進和提高。

發明內容

本發明要解決的技術問題在于，針對現有技術的上述缺陷，提供一種分布式多集群的數據存儲方法、裝置及存儲介質，旨在解決現有技術中數據存儲方法受到物理組成以功能的局限，影響存儲效率的問題。

為了解決上述技術問題，本發明所采用的技術方案如下：

第一方面，本發明提供一種分布式多集群的數據存儲方法，其中，所述方法包括：

獲取待存儲文件數據，并根據所述待存儲文件數據搜索集群服務器中與所述待存儲文件數據匹配的文件數據；

若所述集群服務器中不存在與所述待存儲文件數據匹配的文件數據，則對所述待存儲文件數據進行加密處理，并將加密處理后的所述待存儲文件數據存儲至目標服務器中；

生成用于下載所述待存儲文件數據的快捷文件鏈接，并將所述快捷文件鏈接存儲至所述集群服務器中的穩定節點中，以使得所述集群服務器中的各個服務器通過所述穩定節點得到所述快捷文件鏈接。

在一種實現方式中，所述獲取待存儲文件數據，并根據所述待存儲文件數據搜索集群服務器中與所述待存儲文件數據匹配的文件數據，包括：

獲取所述待存儲文件數據，并從所述待存儲文件數據中提取文件信息，所述文件信息包括：文件名、關鍵詞、文件類型、文件數據量；

根據所述文件信息，在所述集群服務器中搜索與所述文件信息匹配的文件數據。

在一種實現方式中，所述根據所述文件信息，在所述集群服務器中搜索與所述文件信息匹配的文件數據，包括：

根據所述文件信息，在所述集群服務器中搜索具有相同文件信息的文件數據。

在一種實現方式中，所述若所述集群服務器中不存在與所述待存儲文件數據，則對所述待存儲文件數據進行加密處理，包括：

若所述集群服務器中不存在與所述待存儲文件數據匹配的文件數據，則生成存儲鑰匙，所述存儲鑰匙攜帶唯一的存儲標識；

將所述存儲鑰匙與所述待存儲文件數據進行綁定，以實現加密處理。

在一種實現方式中，所述將加密處理后的所述待存儲文件數據存儲至目標服務器中，包括：

獲取所述集群服務器中各個服務器的存儲空間；

篩選出所述存儲空間最大的服務器，并將所述存儲空間最大的服務器作為所述目標服務器；