[發明專利]一種Hadoop集群和分布式系統

在審

• 申請號: 201710498309.1
• 申請日: 2017-06-27
• 公開（公告）號: CN107273527A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 李振龍;楊超偉
• 申請（專利權）人: 北京云和時空科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙)11371
• 代理人: 鄧超

1.一種Hadoop集群，其特征在于，包括：主節點和與所述主節點連接的計算從節點；

所述主節點，用于向所述計算從節點分配待處理的數據；

所述計算從節點，用于對所述主節點分配的數據進行計算。

2.根據權利要求1所述的Hadoop集群，其特征在于，還包括：與所述主節點連接的核心從節點；

所述核心從節點，用于對所述主節點分配的數據進行存儲。

3.根據權利要求2所述的Hadoop集群，其特征在于，所述主節點、所述核心從節點和所述計算從節點均采用虛擬機。

4.一種分布式系統，其特征在于，包括：節點調整服務器和上述權利要求1-3任一項所述的Hadoop集群；

所述Hadoop集群，包括：主節點、與所述主節點分別連接的計算從節點和核心從節點；

所述節點調整服務器，與所述主節點連接，用于根據所述計算從節點的計算任務信息和所述核心從節點的存儲任務信息，分別調整與所述主節點連接的所述計算從節點和所述核心從節點的數量。

5.根據權利要求4所述的分布式系統，其特征在于，所述節點調整服務器，包括：

集群監控器，用于獲取所述計算從節點的計算任務信息和所述核心從節點的存儲任務信息；

計算節點處理器，用于根據所述計算任務信息，計算所述計算從節點的第一擴容數量；

核心節點處理器，用于根據所述存儲任務信息，計算所述核心從節點的第二擴容數量或者縮減數量；

從節點調整單元，用于根據所述第一擴容數量對與所述主節點連接的所述計算從節點的數量進行調整，根據所述第二擴容數量或者所述縮減數量對與所述主節點連接的所述核心從節點的數量進行調整。

6.根據權利要求5所述的分布式系統，其特征在于，所述計算任務信息，包括：待處理任務量、當前工作中的計算從節點的計算能力參數、當前工作中的計算從節點的空閑計算能力參數和各計算從節點的最大計算能力參數；

所述計算節點處理器，具體用于：

當所述計算能力參數大于預設第一計算能力閾值的時長達到預設時長時，所述第一擴容數量＝(所述待處理任務量-所述空閑計算能力參數)/所述最大計算能力參數。

7.根據權利要求6所述的分布式系統，其特征在于，所述計算任務信息，還包括：空閑計算從節點和空閑時間的對應關系表，所述空閑計算從節點和空閑時間的對應關系表記錄有當前空閑的計算從節點的標識和對應的空閑時間；

所述計算節點處理器，還具體用于：

當根據所述空閑計算從節點和空閑時間的對應關系表，確定有計算從節點的空閑時間達到預設的第一空閑時間閾值時，將空閑時間達到所述第一空閑時間閾值的計算從節點的標識發送給所述從節點調整單元，使得所述從節點調整單元終止所述標識對應的計算從節點與所述主節點的連接。

8.根據權利要求5所述的分布式系統，其特征在于，所述存儲任務信息，包括：集群當前存儲數據量、復制率、集群最大數據存儲量、各核心從節點的最大存儲能力參數、數據加載率上限閾值和數據加載率下限閾值：

所述核心節點處理器，具體用于：

通過(所述集群當前存儲數據量*所述復制率)/所述集群最大數據存儲量，計算所述Hadoop集群的當前數據加載率；

當確定所述當前數據加載率大于所述數據加載率上限閾值時，通過(所述集群當前存儲數據量*所述復制率-所述集群最大數據存儲量)/(各核心從節點的最大存儲能力參數*數據加載率上限閾值)，計算所述第二擴容數量；

當確定所述當前數據加載率小于所述數據加載率下限閾值時，通過(所述集群當前存儲數據量*所述復制率-所述集群最大數據存儲量)/(各核心從節點的最大存儲能力參數*數據加載率下限閾值)，計算所述縮減數量。

9.根據權利要求7所述的分布式系統，其特征在于，所述從節點調整單元，用于根據所述第一擴容數量對與所述主節點連接的所述計算從節點的數量進行調整，包括：

從空閑狀態的計算從節點中選擇所述第一擴容數量的計算空節點與所述主節點連接；

當獲取到所述計算節點處理器發送的計算從節點的標識時，終止所述標識對應的計算從節點與所述主節點的連接，并將所述標識對應的計算從節點設置為空閑狀態。

10.根據權利要求8所述的分布式系統，其特征在于，所述從節點調整單元，用于根據所述第二擴容數量或者所述縮減數量對與所述主節點連接的所述核心從節點的數量進行調整，包括：

當獲取到所述第二擴容數量時，從空閑狀態的核心從節點中選擇所述第一擴容數量的核心空節點與所述主節點連接；

當獲取到所述縮減數量時，獲取當前與所述主節點連接的各核心從節點的數據存儲量；

根據所述各核心從節點的數據存儲量，從所述各核心從節點中確定出數據存儲量最小的所述縮減數量的核心從節點作為待終止的核心從節點；

終止確定出的所述核心從節點與所述主節點的連接，并將連接被終止的核心從節點設置為空閑狀態。