[發明專利]一種HDFS存儲系統的元數據管理方法及裝置

在審

• 申請號: 201711293984.7
• 申請日: 2017-12-08
• 公開（公告）號: CN107920131A
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 白學余;海鑫;高四輩
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及計算機存儲技術領域，特別是涉及一種HDFS存儲系統的元數據管理方法及裝置。

背景技術

隨著計算機技術的快速發展，大數據應用越來越廣泛，對存儲的性能要求越來越高。HDFS(Hadoop Distributed File System，Hadoop分布式文件系統)為一種分布式統一存儲系統，是大數據處理Hadoop的存儲組件。

目前，在HDFS存儲系統中，多是基于主從模式配置兩個管理節點，即主管理節點和從管理節點，管理節點也可稱為NameNode。同一時間，主管理節點負責大數據的數據存儲服務，其操作過程記錄在日志中，按照一定的時間間隔進行日志的導出。如果主管理節點出現問題，從管理節點會讀取日志，接管主管理節點的服務，變成主管理節點。

這種方法存在一定的缺點，因為日志是按照一定的時間間隔導出的，主管理節點出現問題之前的一小段時間的操作過程可能并未被記錄，存在數據丟失與不一致的問題，而且，同一時間只有一個管理節點對外提供服務，很容易因負載過重導致管理節點出現異常，使得HDFS存儲系統處于不可用狀態，影響存儲性能。

發明內容

本發明的目的是提供一種HDFS存儲系統的元數據管理方法及裝置，以避免出現數據不一致問題，及避免出現單個管理節點負載過重問題，使得HDFS存儲系統處于高可用狀態，提升存儲性能。

為解決上述技術問題，本發明提供如下技術方案：

一種HDFS存儲系統的元數據管理方法，應用于HDFS存儲系統的第一管理節點，所述HDFS存儲系統包含多個共享同一元數據信息池的管理節點，所述第一管理節點為所述HDFS存儲系統包含的多個管理節點中的任意一個，所述方法包括：

接收客戶端針對目標元數據的服務請求；

基于所述元數據信息池，響應所述服務請求。

在本發明的一種具體實施方式中，所述基于所述元數據信息池，響應所述服務請求，包括：

如果所述服務請求為寫入請求，則將所述目標元數據寫入至所述元數據信息池中。

在本發明的一種具體實施方式中，所述基于所述元數據信息池，響應所述服務請求，包括：

如果所述服務請求為讀取請求，則從所述元數據信息池中讀取所述目標元數據。

在本發明的一種具體實施方式中，在所述從所述元數據信息池中讀取所述目標元數據之前，還包括：

利用paxos協議對所述元數據信息池中的元數據信息進行一致性檢測；

確定一致性檢測是否通過；

如果是，則執行所述從所述元數據信息池中讀取所述目標元數據的步驟。

在本發明的一種具體實施方式中，在確定一致性檢測未通過時，還包括：

輸出告警信息。

一種HDFS存儲系統的元數據管理裝置，應用于HDFS存儲系統的第一管理節點，所述HDFS存儲系統包含多個共享同一元數據信息池的管理節點，所述第一管理節點為所述HDFS存儲系統包含的多個管理節點中的任意一個，所述裝置包括：

服務請求接收模塊，用于接收客戶端針對目標元數據的服務請求；

服務請求響應模塊，用于基于所述元數據信息池，響應所述服務請求。

在本發明的一種具體實施方式中，所述服務請求響應模塊，具體用于：

如果所述服務請求為寫入請求，則將所述目標元數據寫入至所述元數據信息池中。

在本發明的一種具體實施方式中，所述服務請求響應模塊，具體用于：

如果所述服務請求為讀取請求，則從所述元數據信息池中讀取所述目標元數據。

在本發明的一種具體實施方式中，還包括一致性檢測模塊，用于：

在所述從所述元數據信息池中讀取所述目標元數據之前，利用paxos協議對所述元數據信息池中的元數據信息進行一致性檢測；

確定一致性檢測是否通過；

如果是，則觸發所述服務請求響應模塊執行所述從所述元數據信息池中讀取所述目標元數據的步驟。

在本發明的一種具體實施方式中，還包括告警信息輸出模塊，用于：

在確定一致性檢測未通過時，輸出告警信息。