[發明專利]一種實現Hadoop主機自動發現的方法及裝置

有效

• 申請號: 201610020551.3
• 申請日: 2016-01-13
• 公開（公告）號: CN105763667B
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 韓東亮;饒云
• 申請（專利權）人: 新華三技術有限公司
• 主分類號: H04L29/12
• 分類號: H04L29/12;H04L12/24;H04L29/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本發明提供一種實現Hadoop主機自動發現的方法及裝置，該方法包括：接收客戶端廣播的攜帶有私有標識的DHCP DISCOVER報文；向所述客戶端發送攜帶有所述私有標識的DHCP OFFER報文；接收所述客戶端廣播的DHCP REQUEST報文，所述DHCP REQUEST報文攜帶有所述私有標識以及所述客戶端的標識信息；向所述客戶端發送DHCP ACK報文，所述DHCP ACK報文攜帶有所述私有標識以及所述客戶端的標識信息對應的Hadoop集群配置信息，以使所述客戶端根據所述Hadoop集群配置信息加入Hadoop集群。應用本發明實施例實現了Hadoop主機自動發現，提高了Hadoop集群運維管理的效率。

技術領域

本發明涉及網絡通信技術領域，尤其涉及一種實現Hadoop主機自動發現的方法及裝置。

背景技術

隨著Hadoop(一種分布式系統基礎架構)越來越普及，為應對快速部署、監控和管理的需求，需要有專門的管理平臺，如Cloudera Enterprise Manager(Cloudera管理平臺)，Ambari(一種管理平臺)等。為了方便管理集群中的眾多節點，管理平臺通常采用C/S(Client/Server，客戶端/服務器)架構，即在所有集群節點中安裝管理軟件的客戶端，并接受服務器的統一管理。

然而實踐發現，現有Hadoop主機發現方案中，當新的節點加入時，需首先在新節點上手動配置好環境，如FQDN(Fully Qualified Domain Name，完全合格域名)、SSH(SecureShell，安全外殼協議)免密鑰登陸等，再在管理平臺中添加此主機，當添加主機較多時，此種方法耗時耗力，運維管理的效率較低。

發明內容

本發明提供一種實現Hadoop主機自動發現的方法及裝置，以解決現有Hadoop主機發現方案中運維管理的效率較低的問題。

根據本發明實施例的第一方面，提供一種實現Hadoop主機自動發現的方法，該方法應用于Hadoop集群的服務端，該方法包括：

接收客戶端廣播的攜帶有私有標識的動態主機配置協議DHCP發現DISCOVER報文；

向所述客戶端發送攜帶有所述私有標識的DHCP提供OFFER報文；

接收所述客戶端廣播的DHCP請求REQUEST報文，所述DHCP REQUEST報文攜帶有所述私有標識以及所述客戶端的標識信息；

向所述客戶端發送DHCP確認ACK報文，所述DHCP ACK報文攜帶有所述私有標識以及所述客戶端的標識信息對應的Hadoop集群配置信息，以使所述客戶端根據所述Hadoop集群配置信息加入Hadoop集群。

根據本發明實施例的第二方面，提供一種實現Hadoop主機自動發現的方法，該方法應用于Hadoop集群的客戶端，該方法包括：

廣播攜帶有私有標識的動態主機配置協議DHCP發現DISCOVER報文；

接收服務端返回的攜帶有所述私有標識的DHCP提供OFFER報文；

廣播DHCP請求REQUEST報文，所述DHCP REQUEST報文中攜帶有所述私有標識以及客戶端的標識信息；

接收所述服務端發送的DHCP確認ACK報文，所述DHCP ACK報文中攜帶有所述私有標識以及所述客戶端的標識信息對應的Hadoop集群配置信息；

根據所述Hadoop集群配置信息加入Hadoop集群。

根據本發明實施例的第三方面，提供一種實現Hadoop主機自動發現的裝置，該裝置應用于Hadoop集群的服務端，該裝置包括：

接收單元，用于接收客戶端廣播的攜帶有私有標識的動態主機配置協議DHCP發現DISCOVER報文；