[發明專利]基于容器的HDFS高可用實現方法

有效

• 申請號: 201810980102.2
• 申請日: 2018-08-27
• 公開（公告）號: CN109165206B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 江胡忠;宋懷明;郭慶;謝瑩瑩;蔣丹東
• 申請（專利權）人: 中科曙光國際信息產業有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/176
• 代理公司: 北京蘭亭信通知識產權代理有限公司 11667
• 代理人: 趙永剛

本發明提供一種基于容器的HDFS高可用實現方法。所述方法包括：通過HDFS集群系統中的Pod掛載預先分配的遠端NFS共享目錄；當Kubernetes重新調度HDFS集群中的異常Pod或容器時，通過所述異常Pod或者容器重新掛載所述遠端NFS共享目錄中的對應數據文件目錄，以恢復異常Pod或者容器中的數據，從而實現容器內HDFS的高可用性；其中，所述NFS共享目錄用于存放HDFS所有節點的數據文件的保存目錄。本發明通過預先分配一個遠端NFS共享目錄，并將之與容器相對應，通過掛載遠端NFS共享目錄將HDFS節點的數據文件保存目錄存放在遠端NFS共享目錄中，這樣容器被銷毀重建之后，通過重新掛載預先分配的遠端NFS共享目錄就可以恢復容器的用戶數據，從而使得HDFS節點數據不會丟失。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于容器的HDFS高可用實現方法。

背景技術

HDFS(Hadoop Distributed File system，Hadoop分布式文件系統)是一個具有高度容錯性的分布式文件系統，能夠提供高吞吐量的數據訪問，同時具備一定的故障恢復能力，適合在大規模的數據集上使用。HDFS是一個主/從體系結構，包括兩類節點：NameNode和DataNode，其中，NameNode負責處理客戶端的請求，配置副本策略，管理HDFS的命名空間等；DataNode負責數據塊的讀寫操作等。HDFS更適合于一次寫入，多次讀取的應用場景，不適宜頻繁寫入和實時獲取的應用場景。NFS(Network File System，網絡文件系統)允許計算機通過TCP/IP網絡訪問遠端的計算機上的硬盤目錄，提供了一種文件共享的方式，安裝NFS客戶端的計算機就可以像訪問本地磁盤那樣讀寫NFS服務器上共享出來的磁盤目錄。

Docker容器技術是基于LXC(Linux Container)技術衍生的一種新型內核虛擬化技術，從2013年誕生之日起便持續得到開發者和企業的關注和青睞。使用Docker技術，開發者可以輕松的在容器上部署和運行應用，并通過配置文件輕松實現應用的自動化安裝、部署和升級。Kubernetes是一個全新的基于Docker容器技術的分布式架構領先方案，為容器化的應用提供部署運行、資源調度、服務發現和動態伸縮等一系列完整功能，提高了大規模容器集群管理的便捷性。Pod作為集群中最基本操作單元，包含一個或多個緊密相關的容器，這些容器共享存儲和網絡資源。與傳統物理機的部署相比，借助于容器的輕量級和容器編排系統Kubernetes，可以在同等的物理硬件條件下，部署更多的HDFS集群，提供給更多的用戶使用，并且這些HDFS相互隔離，不會有影響。

通常情況下，在Kubernetes中的每個Pod上只創建一個容器，并在容器中部署HDFS集群，根據Kubernetes的調度策略，當Pod或容器因未知原因發生異常終止時Kubernetes會刪除掉異常終止的Pod，并重新根據yaml文件生成新的Pod，并把它啟動起來加入到原HDFS集群中，其中，yaml文件是一種編寫配置文件的語言。

在實現本發明的過程中，發明人發現現有技術中至少存在如下技術問題：

雖然按照上述部署方式的確可以為多個用戶創建更多的HDFS集群，并且一旦HDFS集群中的某個數據節點DataNode出現異常終止，Kubernetes能夠重新調度該數據節點DataNode并將其加入原HDFS集群中。由于重新調度后的DataNode是一個全新的、失去所有用戶數據的節點，因此需要借助HDFS文件系統本身的高可用特性保證HDFS上的數據不丟失。