[發明專利]一種Hadoop集群和分布式系統

在審

• 申請號: 201710498309.1
• 申請日: 2017-06-27
• 公開（公告）號: CN107273527A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 李振龍;楊超偉
• 申請（專利權）人: 北京云和時空科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙)11371
• 代理人: 鄧超

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種海杜普(Hadoop Distributed File System，Hadoop)集群和分布式系統。

背景技術

目前，數據處理量越來越大，種類也越來越繁多，呈現出大數據趨勢。需要在對數據處理時，將待處理的數據分塊后輸入Hadoop集群進行并行處理(如MapReduce)，以得到數據處理結果。

相關技術中，Hadoop集群包括主節點和多個從節點，主節點將待處理的數據分配到從節點，從節點對數據進行處理和存儲。當在Hadoop集群中增加從節點時，需要將Hadoop集群中已有從節點上的數據遷移到新增從節點上。當要從Hadoop集群中刪除從節點時，需要先將待刪除的從節點上的數據遷移到其他從節點后，才能刪除該待刪除的節點。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

由于從節點具有數據處理和存儲功能，Hadoop集群進行從節點增減時，都需要耗費大量的時間(幾個小時或者幾天)進行從節點間數據遷移，從而降低了Hadoop集群的運行效率。

發明內容

有鑒于此，本發明實施例的目的在于提供一種Hadoop集群和分布式系統，以提高Hadoop集群的運行效率。

第一方面，本發明實施例提供了一種Hadoop集群，包括：主節點和與所述主節點連接的計算從節點；

所述主節點，用于向所述計算從節點分配待處理的數據；

所述計算從節點，用于對所述主節點分配的數據進行計算。

結合第一方面，本發明實施例提供了第一方面的第一種可能的實施方式，其中：還包括：與所述主節點連接的核心從節點；

所述核心從節點，用于對所述主節點分配的數據進行存儲。

結合第一方面，本發明實施例提供了第一方面的第二種可能的實施方式，其中：所述主節點、所述核心從節點和所述計算從節點均采用虛擬機。

第二方面，本發明實施例還提供一種分布式系統，包括：節點調整服務器和上述權利要求1-3任一項所述的Hadoop集群；

所述Hadoop集群，包括：主節點、與所述主節點分別連接的計算從節點和核心從節點；

所述節點調整服務器，與所述主節點連接，用于根據所述計算從節點的計算任務信息和所述核心從節點的存儲任務信息，分別調整與所述主節點連接的所述計算從節點和所述核心從節點的數量。

結合第二方面，本發明實施例提供了第二方面的第一種可能的實施方式，其中：所述節點調整服務器，包括：

集群監控器，用于獲取所述計算從節點的計算任務信息和所述核心從節點的存儲任務信息；

計算節點處理器，用于根據所述計算任務信息，計算所述計算從節點的第一擴容數量；

核心節點處理器，用于根據所述存儲任務信息，計算所述核心從節點的第二擴容數量或者縮減數量；

從節點調整單元，用于根據所述第一擴容數量對與所述主節點連接的所述計算從節點的數量進行調整，根據所述第二擴容數量或者所述縮減數量對與所述主節點連接的所述核心從節點的數量進行調整。

結合第二方面，本發明實施例提供了第二方面的第二種可能的實施方式，其中：所述計算任務信息，包括：待處理任務量、當前工作中的計算從節點的計算能力參數、當前工作中的計算從節點的空閑計算能力參數和各計算從節點的最大計算能力參數；

所述計算節點處理器，具體用于：

當所述計算能力參數大于預設第一計算能力閾值的時長達到預設時長時，所述第一擴容數量＝(所述待處理任務量-所述空閑計算能力參數)/所述最大計算能力參數。

結合第二方面，本發明實施例提供了第二方面的第三種可能的實施方式，其中：所述計算任務信息，還包括：空閑計算從節點和空閑時間的對應關系表，所述空閑計算從節點和空閑時間的對應關系表記錄有當前空閑的計算從節點的標識和對應的空閑時間；

所述計算節點處理器，還具體用于：

當根據所述空閑計算從節點和空閑時間的對應關系表，確定有計算從節點的空閑時間達到預設的第一空閑時間閾值時，將空閑時間達到所述第一空閑時間閾值的計算從節點的標識發送給所述從節點調整單元，使得所述從節點調整單元終止所述標識對應的計算從節點與所述主節點的連接。