[發明專利]一種大數據分布式存儲管理方法及系統

有效

• 申請號: 201811119218.3
• 申請日: 2018-09-25
• 公開（公告）號: CN109407977B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 張彩霞;郭靜;王向東;王新東;胡紹林
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/182;G06F16/176
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 王國標

本發明涉及大數據存儲技術領域，具體涉及一種大數據分布式存儲管理方法及系統，通過將數據分塊和校驗，以分塊的形式存放校驗后的數據塊信息，將所述數據塊信息發送給元數據服務器；通過元數據服務器處理元數據請求，存儲文件系統的元數據信息，存儲自身名字空間管理，提供系統服務；將元數據信息以鏡像文件和日志文件的方式持久化到共享存儲池中；通過同步元數據服務器的名字空間信息從而使得集群中每個元數據服務器利用備用節點進行熱備份，從而實現對元數據服務器的熱備份，本發明能保證大數據存儲訪問過程中數據的可靠性。

技術領域

本發明涉及大數據存儲技術領域，具體涉及一種大數據分布式存儲管理方法及系統。

背景技術

隨著集群規模的擴大，在大數據分析和處理過程中，網絡故障和節點失效等錯誤發生的概率增加，需要底層分布式數據系統提供高可用保證，保持數據系統服務的連續性。基于共享存儲池，集群中每個元數據服務器利用影子節點SN進行熱備，無需額外的數據系統或設備支持就能快速恢復故障。通常情況下，影子節點不提供元數據服務，處于備用狀態，但始終維護與元數據服務器一致的名字空間。

因此，如何提供一種高可用，保持數據系統服務的連續性的大數據分布式存儲管理途徑成為值得解決的問題。

發明內容

本發明提供一種大數據分布式存儲管理方法及系統，能夠保證大數據存儲訪問過程中數據的可靠性。

本發明提供的一種大數據分布式存儲管理系統，所述系統包括數據節點、元數據服務器、共享存儲池、備用節點；

所述數據節點，用于將數據分塊，形成數據塊信息，對所述數據塊信息進行校驗，以分塊的形式存放校驗后的數據塊信息，將所述數據塊信息發送給元數據服務器；

所述元數據服務器，用于處理元數據請求，存儲文件系統的元數據信息，存儲自身名字空間管理，提供系統服務；

所述共享存儲池，用于同步元數據服務器的名字空間信息；

所述備用節點，用于對元數據服務器進行熱備份。

進一步，所述數據節點，用于定期對元數據服務器進行數據采集，將內存元數據信息和日志內容合并成一個新的鏡像文件，并將所述鏡像文件發送到共享存儲池中進行存儲。

進一步，所述元數據服務器還用于根據各數據節點信息及列表項配置信息生成數據節點列表，將數據存放到元數據服務器對應的數據節點，每臺數據節點的項數按以下公式計算：

其中，Ui表示第i臺數據節點在列表內所出現的次數，C表示列表的項數，n表示數據節點總數，U_i即為每臺數據節點的項數。

進一步，所述系統服務包括：通過將多個元數據服務器構成一個全局的名字空間，作為共享存儲池中共享存儲節點，保存元數據服務器鏡像和日志文件的副本信息。

進一步，所述系統還包括切換模塊，用于當元數據服務器處于離線狀態時，將元數據服務器服務進程切換至備用節點。

本發明提供的一種大數據分布式存儲管理方法，所述方法基于上述任一所述的一種大數據分布式存儲管理系統，包括以下步驟：

步驟S1、將數據分塊，形成數據塊信息，對所述數據塊信息進行校驗，以分塊的形式存放校驗后的數據塊信息，將所述數據塊信息發送給元數據服務器；

步驟S2、處理元數據請求，存儲文件系統的元數據信息，存儲自身名字空間管理，提供系統服務；

步驟S3、同步元數據服務器的名字空間信息；

步驟S4、對元數據服務器進行熱備份。