[發明專利]一種分布式數據管理方法

在審

• 申請號: 201710461880.6
• 申請日: 2017-06-19
• 公開（公告）號: CN107291876A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 萬勝剛;曾良咀;方俊濤
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 華中科技大學專利中心42201
• 代理人: 廖盈春,李智

技術領域

本發明屬于分布式數據存儲領域，更具體地，涉及一種分布式數據管理方法。

背景技術

分布式數據管理，是指通過網絡，以類似本地文件系統的方式訪問其它節點上的數據。

存取文件實際對應的是存取文件的各個塊，在獲得文件的元數據信息后，需要繼續獲得文件的塊信息。傳統做法是基于塊分布表的方式，即在內存中維護一個塊分布表，表中存放了文件塊的存儲位置，通過查詢塊分布表來獲得文件塊信息。

在存取文件的時候，先獲取到文件的元數據信息，然后再存取對應文件數據。元數據意指描述數據的數據，一般包括文件大小、位置、創建時間等信息。傳統的分布式數據管理采用的是單個節點存放元數據的方式，即存取文件時，首先訪問存放元數據的節點，獲取到文件元數據后，再根據元數據存取文件。這樣元數據管理帶來的內存、計算等開銷將由一個特點的節點承擔，系統的資源及性能將受到限制。

在獲取元數據信息的時侯，需要根據該元數據對應的文件的文件名，來定位元數據所在位置。元數據通常以文件樹的形式組織，這樣便于查找。在傳統的文件系統中，查找元數據需要從根節點開始，根據名稱逐層匹配路徑。當文件系統的目錄深度過大，這無疑會帶來較大的性能開銷。

在寫文件的時候，為了系統的穩定性，需要寫日志，記錄修改操作，用于系統出錯后的恢復操作。傳統的文件系統，日志與文件數據是分開的，即單獨使用一個文件用來存放日志。這就意味著，每次寫文件需要進行兩次文件輸入輸出，這顯然會帶來額外的性能開銷。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種分布式數據管理方法，其目的在于將分布式數據管理的元數據管理功能分散到多個節點，并建立映射關系；同時支持文件元數據副本和文件數據副本，確保副本被分布到不同的節點，在讀寫文件元數據或文件數據時，當主存儲端失效時，副本存儲端能夠迅速接替主存儲端工作，由此解決現有元數據管理帶來的內存、計算等開銷將由一個特點的節點承擔，系統的資源及性能將受到限制即數據副本分布可靠性不夠的問題。

為實現上述目的，按照本發明的一個方面，提供了一種分布式數據管理方法，所述方法包括：

建立文件信息和多個節點的映射關系；在所述多個節點中，其中一個節點存儲該文件的元數據，其他每個節點都存儲有該文件的元數據副本；

建立文件元數據信息和多個節點的映射關系；在所述多個節點中，其中一個節點存儲該文件數據，其他每個節點都存儲有該文件數據副本；

所述元數據樹結構采用普通多叉樹與哈希表相結合的結構，在元數據的數據結構中加入全路徑字段；

在寫文件時，直接將日志追加在文件數據之后。

進一步地，所述方法還包括：

讀寫文件元數據時，對文件元數據進行讀寫操作，若成功，則對文件元數據副本進行同步操作；若失敗，則對文件元數據副本進行讀寫操作。

進一步地，所述方法還包括：

讀寫文件數據時，對文件數據進行讀寫操作，若成功，則對文件數據副本進行同步操作；若失敗，則對文件數據副本進行讀寫操作。

總體而言，通過本發明所構思的以上技術方案與現有技術相比，具有以下技術特征及有益效果：

(1)在元數據樹結構設計中，選擇普通多叉樹與哈希表結合的實現結構，一方面可以利用哈希進行快速查找，減少訪存次數；另一方面可以利用樹形結構方便的完成對整個目錄文件的修改操作。在元數據的數據結構里加入了全路徑字段，在查找以后，直接對比全路徑名就可確定查找到的節點與需求節點是否一致，而不用從根節點開始逐層匹配路徑；

(2)將數據寫操作和其相應的元數據日志操作同時進行，寫在同一個文件里。為了盡可能減少日志開銷，設計這種日志方案，將每次數據操作需要進行的兩次日志行為減少為一次，即每次操作減少一次訪存的開銷，提高系統的效率；

(3)傳統上由單個節點承擔的分布式數據管理的元數據管理功能被分散到存儲與管理區的多個通用處理單元中，即元數據管理帶來的內存、計算等開銷將由所有通用處理單元共同承擔，消除了系統可能存在的資源及性能瓶頸，從而提高了系統可擴展性，當系統拓撲確定后，系統不依賴于某一中心節點即能工作；

(4)通過基于映射的數據訪問方式，任何文件讀寫請求理論上都可以不再向元數據服務器請求定位信息，從而降低管理元數據、訪問元數據所帶來的開銷，任何客戶端或維護端可僅僅憑借文件名或文件內偏移地址等文件信息以及系統拓撲快速定位文件內任意一個字節所在的存儲端；