[發明專利]數據管理方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010120131.9
• 申請日: 2020-02-26
• 公開（公告）號: CN111427841A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 劉昌鑫;李立帥
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/16;G06F16/172;G06F16/182
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝

本申請揭示了一種數據管理方法、裝置、計算機設備和存儲介質，其中方法包括將文件系統的目錄樹存儲于元數據服務器中；將文件系統所包含的各個文件的文件數據進行分塊，并分別存儲于集群服務器的多個節點中；將文件系統所對應的屬性信息進行分塊，并分別存儲于集群服務器的多個節點中；獲取用戶發送的數據讀寫指令；判斷目錄樹內是否包含指定目錄信息；若是，則從所述元數據服務器內提取指定目錄信息對應的指定文件標識；根據指定文件標識，確定所述待讀寫文件對應的文件數據在集群服務器中分布的各個指定節點；根據讀寫操作信息，完成與各個指定節點的讀寫操作。本申請減少了元數據服務器的運行壓力，并提高了高并發場景的數據讀取效率。

技術領域

本申請涉及計算機技術領域，具體涉及一種數據管理方法、裝置、計算機設備和存儲介質。

背景技術

文件系統中，通常包括大量的文件數據，這些文件數據分布于文件系統的目錄或者子目錄中。一個目錄中包含有大量的子目錄或文件數據，且每個子目錄中又包括有大量的文件數據。文件系統的元數據包括目錄樹以及屬性信息。其中目錄樹用于記錄文件數據邏輯與物理位置的映射關系，屬性信息用于記錄文件大小、修改時間、讀寫權限等屬性信息的數據。在現有技術中，通常將目錄項元數據、文件數據和屬性信息進行集中管理。在高并發場景中，由于數據訪問的互斥會導致業務的并發度低下，數據讀取的耗時較長，系統效率低下。

發明內容

本申請的主要目的為提供一種數據管理方法、裝置、計算機設備和存儲介質，旨在解決現有技術中的文件數據集中管理，數據讀取耗時長，系統效率低下的問題。

本申請提出一種數據管理方法，包括：

將文件系統的目錄樹存儲于元數據服務器中；以及將所述文件系統所包含的各個文件的文件數據進行分塊，并將各塊分別存儲于集群服務器的多個節點中；以及將所述文件系統所對應的屬性信息進行分塊，并將各塊分別存儲于所述集群服務器的多個節點中；

獲取用戶發送的數據讀寫指令，其中，所述數據讀寫指令中攜帶待讀寫文件的指定目錄信息和讀寫操作信息；

判斷所述目錄樹內是否包含所述指定目錄信息，其中所述目錄樹以鍵-值的形式存儲，以各個文件的目錄信息為鍵，以各個文件對應的文件標識為值；

若是，則從所述元數據服務器內提取所述指定目錄信息對應的指定文件標識；

根據所述指定文件標識，確定所述待讀寫文件對應的文件數據在所述集群服務器中分布的各個指定節點；

根據所述讀寫操作信息，完成與各個所述指定節點的讀寫操作。

進一步地，所述將所述文件系統所包含的各個文件的文件數據進行分塊，并將各塊分別存儲于集群服務器的多個節點中的步驟包括：

分別將各個所述文件的文件數據按照第一預置大小分割成多個第一塊數據；

分別根據各個所述文件對應的第一塊數據的數目，從所述集群服務器的全部節點中，根據預設hash算法確定用于存儲各個所述第一塊數據的各個第一節點，建立各個所述第一塊數據與各個所述第一節點之間的第一映射關系；

根據所述第一映射關系，分別將各個所述文件對應的第一塊數據存儲至各個所述第一節點。

進一步地，所述讀寫操作信息中包括數據讀取起點值和數據讀取長度值，所述根據所述讀寫操作信息，完成與各個所述指定節點的讀寫操作的步驟，包括：

從所述讀寫操作信息中提取所述數據讀取起點值和所述數據讀取長度值；

從各個所述指定節點中，確定所述數據讀取起點值對應的第一目標節點；

在所述第一目標節點中，以所述數據讀取起點值為起點，從所述第一目標節點對應的第一塊數據中，讀取與所述數據讀取長度值對應的讀取數據。