[發明專利]一種Hadoop對象存儲高可用方法、系統、裝置及可讀存儲介質

在審

• 申請號: 201811348095.0
• 申請日: 2018-11-13
• 公開（公告）號: CN109446178A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 馬順
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本申請公開了一種Hadoop對象存儲高可用方法、系統、裝置及計算機可讀存儲介質，應用于AS13000存儲集群，包括：判斷存儲集群中與客戶端連接的當前物理IP對應的當前存儲節點是否發生故障；若是，則斷開客戶端與當前物理IP對應的當前虛擬IP的連接，建立客戶端與備用虛擬IP的連接；其中，備用虛擬IP與存儲集群中的備用物理IP對應，備用物理IP與存儲集群中的備用存儲節點對應；本申請預先建立與存儲集群中所有存儲節點的物理IP對應的虛擬IP，一旦當前物理IP出現故障，可以進行虛擬IP漂移，重新建立客戶端與備用虛擬IP的連接，使得客戶端能夠通過備用虛擬IP和備用物理IP繼續訪問存儲集群，避免了客戶端與存儲集群的連接中斷無法恢復的問題，提高了Hadoop的可用性。

技術領域

本發明涉及分布式文件系統領域，特別涉及一種Hadoop對象存儲高可用方法、系統、裝置及計算機可讀存儲介質。

背景技術

Hadoop實現了一個分布式文件系統(Hadoop Distributed File System)，簡稱HDFS；HDFS有高容錯性的特點，并且設計用來部署在低廉的硬件上；而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應用程序；HDFS放寬了POSIX(PortableOperating System Interface of UNIX，可移植操作系統接口)的要求，可以以流的形式訪問文件系統中的數據。

Hadoop的框架最核心的設計就是：HDFS和Hbase；HDFS為海量的數據提供了存儲，而Hbase是分布式非結構數據庫；現有技術中，在對接系統中，存在HDFS存儲單點故障和Hbase單點故障。

為保證Hadoop系統的正常高效運行，需要提高可用性。

發明內容

有鑒于此，本發明的目的在于提供一種Hadoop對象存儲高可用方法、系統、裝置及計算機可讀存儲介質，提高可用性。其具體方案如下：

一種Hadoop對象存儲高可用方法，應用于AS13000存儲集群，包括：

判斷存儲集群中與客戶端連接的當前物理IP對應的當前存儲節點是否發生故障；

若是，則斷開所述客戶端與當前物理IP對應的當前虛擬IP的連接，建立所述客戶端與備用虛擬IP的連接；

其中，備用虛擬IP與所述存儲集群中的備用物理IP對應，備用物理IP與所述存儲集群中的備用存儲節點對應。

可選的，所述建立所述客戶端與備用虛擬IP的連接的過程，包括：

利用虛擬IP偏移規則，選擇虛擬IP集中的一個虛擬IP作為備用虛擬IP；

建立所述客戶端與備用虛擬IP的連接；

其中，所述虛擬IP偏移規則為預先建立的備用虛擬IP選擇規則，所述虛擬IP集包括多個預先利用CTDB建立的與所述存儲集群中每個存儲節點的物理IP一一對應的虛擬IP。

可選的，還包括：

當MON地址出現異常，則切換至預先生成的備用MON地址。

可選的，還包括：

當Hbase中的Hmaster主節點故障，則切換至預先建立的Hbase中的備用Hmaster節點；

其中，備用Hmaster節點與所述Hmaster主節點之間定時更新，以確保備用Hmaster節點與所述Hmaster主節點之間數據同步。

本發明還公開了一種Hadoop對象存儲高可用系統，應用于AS13000存儲集群，包括：

故障判斷模塊，用于判斷存儲集群中與客戶端連接的當前物理IP對應的當前存儲節點是否發生故障；