[發明專利]基于hadoop的異地雙活容災方法、裝置、設備和可讀存儲介質

在審

• 申請號: 202210445959.0
• 申請日: 2022-04-26
• 公開（公告）號: CN114780293A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 劉拓;于洋;高經郡
• 申請（專利權）人: 北京科杰科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F11/07;G06F16/178;G06F16/182;G06F16/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請的實施例提供了基于hadoop的異地雙活容災方法、裝置、設備和計算機可讀存儲介質。所述方法包括基于hadoop框架的主集群，構建與其對應的基于hadoop框架的鏡像集群；所述主集群和鏡像集群分布在不同的機房，并保持心跳；通過異步的方式，同步所述主集群和鏡像集群間的日志和數據文件。以此方式，實現了異地雙活容災。

技術領域

本申請的實施例涉及跨集群數據傳輸領域，尤其涉及基于hadoop的異地雙活容災方法、裝置、設備和計算機可讀存儲介質。

背景技術

當前，大多的雙活容災以單集群模式實現，即，利用hadoop的數據導入導出機制實現數據的備份。

但是，對于跨機房的集群，若其中一個機房出現故障，則另一個機房也會存在單點故障問題。即使進行了數據的備份，也不能快速恢復系統的使用。并且在實際應用中數據也很難進行實時備份，即，數據備份時需要確定目標數據的路徑。

當進行任務計算時，不能充分有效利用集群資源，任務計算需要跨機房進行網絡傳輸數據。

發明內容

根據本申請的實施例，提供了一種基于hadoop的異地雙活容災方案。

在本申請的第一方面，提供了一種基于hadoop的異地雙活容災方法。該方法包括：

基于hadoop框架的主集群，構建與其對應的基于hadoop框架的鏡像集群；所述主集群和鏡像集群分布在不同的機房，并保持心跳；

通過異步的方式，同步所述主集群和鏡像集群間的日志和數據文件。

進一步地，所述通過異步的方式，同步所述主集群和鏡像集群間的日志和數據文件包括：

通過共享日志，進行事務日志的中轉。

進一步地，所述共享日志包括由多個journalNode組成。

進一步地，所述主集群和鏡像集群通過data pipeline方式進行傳輸。

進一步地，所述主集群和鏡像集群各自的dataNode只向各自的nameNode匯報位置及狀態信息。

進一步地，所述主集群和鏡像集群的yarn資源調度相互獨立。

在本申請的第二方面，提供了一種基于hadoop的異地雙活容災裝置。該裝置包括：

構建模塊，用于基于hadoop框架的主集群，構建與其對應的基于hadoop框架的鏡像集群；所述主集群和鏡像集群分布在不同的機房，并保持心跳；

同步模塊，用于通過異步的方式，同步所述主集群和鏡像集群間的日志和數據文件。

進一步地，所述通過異步的方式，同步所述主集群和鏡像集群間的日志和數據文件包括：

通過共享日志，進行事務日志的中轉。

在本申請的第三方面，提供了一種電子設備。該電子設備包括：存儲器和處理器，所述存儲器上存儲有計算機程序，所述處理器執行所述程序時實現如以上所述的方法。

在本申請的第四方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述程序被處理器執行時實現如根據本申請的第一方面的方法。

本申請實施例提供的基于hadoop的異地雙活容災方法，通過基于hadoop框架的主集群，構建與其對應的基于hadoop框架的鏡像集群；所述主集群和鏡像集群分布在不同的機房，并保持心跳；通過異步的方式，同步所述主集群和鏡像集群間的日志和數據文件，實現了異地雙活容災。

應當理解，發明內容部分中所描述的內容并非旨在限定本申請的實施例的關鍵或重要特征，亦非用于限制本申請的范圍。本申請的其它特征將通過以下的描述變得容易理解。