[發明專利]提升Hadoop雙機集群下Web_HDFS可用性的方法

有效

• 申請號: 201811018001.3
• 申請日: 2018-09-03
• 公開（公告）號: CN109104321B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 林其錦
• 申請（專利權）人: 福建星瑞格軟件有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;H04L29/08
• 代理公司: 福州市鼓樓區京華專利事務所(普通合伙) 35212
• 代理人: 王美花

本發明提供了一種提升Hadoop雙機集群下Web_HDFS可用性的方法，包括如下步驟：步驟S10、創建Hadoop的zookeeper會話；步驟S20、啟動活動節點的緩存功能，從zookeeper會話中獲取活動節點以及備用節點并進行緩存；啟動活動節點的更新功能，調用文件管理服務對活動節點進行逐一訪問，驗證活動節點的可操作性，并更新可操作性信息至應用端；步驟S30、應用端從緩存中獲取活動節點，調用Web_HDFS進行文件操作，若文件操作失敗，依據可操作性信息獲取具備可操作性的活動節點進行文件操作。本發明的優點在于：減少了因頻繁調用節點進行測試可用性而造成的網絡開銷以及程序資源的消耗；提升了Hadoop雙機集群的可用性，減少了文件操作時的失敗率。

技術領域

本發明涉及計算機領域，特別指一種提升Hadoop雙機集群下Web_HDFS可用性的方法。

背景技術

應用端程序在Hadoop雙機集群中使用Web_HDFS操作文件時，需要獲取到活動節點進行文件操作，當獲取的節點為備用節點時就會存在部分文件操作失敗的情況。針對這種操作失敗的情況，傳統的做法是通過Web_HDFS對各節點進行逐一訪問、測試；但是這種方法存在有如下問題：1、對各節點進行逐一訪問、測試，增加了應用端節點切換測試時的網絡開銷；2、增加了應用端切換節點時因網絡斷開而造成文件操作失敗的風險；3、增加了應用端使用Web_HDFS時重復測試所造成的程序資源的開銷。

發明內容

本發明要解決的技術問題，在于提供一種提升Hadoop雙機集群下Web_HDFS可用性的方法，用來減少應用端節點切換測試時的網絡開銷以及程序資源開銷，減少應用端切換活動節點或者備用節點時因網絡斷開而造成文件操作失敗的風險。

本發明是這樣實現的：一種提升Hadoop雙機集群下Web_HDFS可用性的方法，包括如下步驟：

步驟S10、創建Hadoop的zookeeper會話；

步驟S20、啟動活動節點的緩存功能，從zookeeper會話中獲取活動節點以及備用節點并進行緩存；啟動活動節點的更新功能，調用文件管理服務對活動節點進行逐一訪問，驗證活動節點的可操作性，并更新可操作性信息至應用端；

步驟S30、應用端從緩存中獲取活動節點，調用Web_HDFS進行文件操作，若文件操作失敗，依據可操作性信息獲取具備可操作性的活動節點進行文件操作。

進一步地，所述步驟S10具體為：

步驟S11、配置zookeeper地址；

步驟S12、創建zookeeper會話，建立應用端與服務器的連接，連接成功后保存會話連接。

進一步地，所述步驟S20中具體為：

步驟S21、啟動活動節點的緩存功能，在程序初始化時，自動從zookeeper會話中的zookeeper地址獲取各NameNode信息并區分出活動節點以及備用節點，并對活動節點以及備用節點進行緩存；

步驟S22、啟動活動節點的定時更新功能，在設定的第一周期內調用文件管理服務對活動節點進行逐一訪問，驗證活動節點的可操作性，并更新可操作性信息至應用端。

進一步地，所述步驟S22中，所述在設定的第一周期內調用文件管理服務具體為：

記錄活動節點可操作性信息的更新次數，若在設定的第二周期內未更新，則延長第一周期至第三周期；若延長第一周期至第三周期后，在設定的第二周期內產生更新，則縮短第三周期至第一周期。

進一步地，所述步驟S30具體為：

步驟S31、應用端從緩存中獲取活動節點，調用Web_HDFS進行文件操作，若文件操作失敗，則進入步驟S32；若文件操作成功，則結束流程；