[發(fā)明專利]數(shù)據(jù)管理方法、裝置、計算機設備和存儲介質

在審

• 申請?zhí)枺?/td>: 202010120131.9
• 申請日: 2020-02-26
• 公開（公告）號: CN111427841A
• 公開（公告）日: 2020-07-17
• 發(fā)明（設計）人: 劉昌鑫;李立帥
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/16;G06F16/172;G06F16/182
• 代理公司: 深圳市明日今典知識產(chǎn)權代理事務所(普通合伙) 44343
• 代理人: 王杰輝

1.一種數(shù)據(jù)管理方法，其特征在于，包括：

將文件系統(tǒng)的目錄樹存儲于元數(shù)據(jù)服務器中；以及將所述文件系統(tǒng)所包含的各個文件的文件數(shù)據(jù)進行分塊，并將各塊分別存儲于集群服務器的多個節(jié)點中；以及將所述文件系統(tǒng)所對應的屬性信息進行分塊，并將各塊分別存儲于所述集群服務器的多個節(jié)點中；

獲取用戶發(fā)送的數(shù)據(jù)讀寫指令，其中，所述數(shù)據(jù)讀寫指令中攜帶待讀寫文件的指定目錄信息和讀寫操作信息；

判斷所述目錄樹內是否包含所述指定目錄信息，其中所述目錄樹以鍵-值的形式存儲，以各個文件的目錄信息為鍵，以各個文件對應的文件標識為值；

若是，則從所述元數(shù)據(jù)服務器內提取所述指定目錄信息對應的指定文件標識；

根據(jù)所述指定文件標識，確定所述待讀寫文件對應的文件數(shù)據(jù)在所述集群服務器中分布的各個指定節(jié)點；

根據(jù)所述讀寫操作信息，完成與各個所述指定節(jié)點的讀寫操作。

2.如權利要求1所述的數(shù)據(jù)管理方法，其特征在于，所述將所述文件系統(tǒng)所包含的各個文件的文件數(shù)據(jù)進行分塊，并將各塊分別存儲于集群服務器的多個節(jié)點中的步驟包括：

分別將各個所述文件的文件數(shù)據(jù)按照第一預置大小分割成多個第一塊數(shù)據(jù)；

分別根據(jù)各個所述文件對應的第一塊數(shù)據(jù)的數(shù)目，從所述集群服務器的全部節(jié)點中，根據(jù)預設hash算法確定用于存儲各個所述第一塊數(shù)據(jù)的各個第一節(jié)點，建立各個所述第一塊數(shù)據(jù)與各個所述第一節(jié)點之間的第一映射關系；

根據(jù)所述第一映射關系，分別將各個所述文件對應的第一塊數(shù)據(jù)存儲至各個所述第一節(jié)點。

3.如權利要求2所述的數(shù)據(jù)管理方法，其特征在于，所述讀寫操作信息中包括數(shù)據(jù)讀取起點值和數(shù)據(jù)讀取長度值，所述根據(jù)所述讀寫操作信息，完成與各個所述指定節(jié)點的讀寫操作的步驟，包括：

從所述讀寫操作信息中提取所述數(shù)據(jù)讀取起點值和所述數(shù)據(jù)讀取長度值；

從各個所述指定節(jié)點中，確定所述數(shù)據(jù)讀取起點值對應的第一目標節(jié)點；

在所述第一目標節(jié)點中，以所述數(shù)據(jù)讀取起點值為起點，從所述第一目標節(jié)點對應的第一塊數(shù)據(jù)中，讀取與所述數(shù)據(jù)讀取長度值對應的讀取數(shù)據(jù)。

4.如權利要求2所述的數(shù)據(jù)管理方法，其特征在于，所述讀寫操作信息中包括數(shù)據(jù)操作起點值和數(shù)據(jù)寫入信息，所述根據(jù)所述讀寫操作信息，完成與各個所述指定節(jié)點的讀寫操作的步驟，包括：

從所述讀寫操作信息中提取所述數(shù)據(jù)操作起點值和所述數(shù)據(jù)寫入信息；

從多個所述指定節(jié)點中，確定所述數(shù)據(jù)操作起點值對應的第二目標節(jié)點；

在所述第二目標節(jié)點中，以所述數(shù)據(jù)操作起點值為起點，將所述數(shù)據(jù)寫入信息寫入所述第二目標節(jié)點對應的第一塊數(shù)據(jù)中，得到所述第二目標節(jié)點對應的更新塊數(shù)據(jù)；

根據(jù)預設hash算法，重新分配所述更新塊數(shù)據(jù)在所述集群服務器中存儲的各個節(jié)點。

5.如權利要求2所述的數(shù)據(jù)管理方法，其特征在于，所述分別根據(jù)各個所述文件對應的第一塊數(shù)據(jù)的數(shù)目，從所述集群服務器的全部節(jié)點中，根據(jù)預設hash算法確定用于存儲各個所述第一塊數(shù)據(jù)的各個第一節(jié)點，建立各個所述第一塊數(shù)據(jù)與各個所述第一節(jié)點之間的第一映射關系中的步驟包括：

將所述集群服務器中的全部節(jié)點按照從0開始的阿拉伯數(shù)字依序進行編號，分別得到各個節(jié)點編號數(shù)；

對一個所述文件對應的全部第一塊數(shù)據(jù)按照預設編號規(guī)則依序進行編號，得到一個所述文件對應的全部文件塊編號；

根據(jù)所述預設hash算法，分別對一個所述文件對應的文件標識和其對應的每個所述第一塊數(shù)據(jù)所對應的文件塊編號，進行哈希計算，分別得到每個所述第一塊數(shù)據(jù)對應的哈希值；

分別將每個所述第一塊數(shù)據(jù)對應的哈希值，對最大的節(jié)點編號數(shù)進行取模運算，得到取模運算結果；

將各個所述第一塊數(shù)據(jù)，按照預設映射規(guī)則分別映射至各個所述第一節(jié)點，其中，所述預設映射規(guī)則為第一塊數(shù)據(jù)的取模運算結果與第一節(jié)點的節(jié)點編號數(shù)相等。