[發明專利]一種安全模式下添加Hadoop集群用戶的方法

在審

• 申請號: 201811025790.3
• 申請日: 2018-09-04
• 公開（公告）號: CN109189594A
• 公開（公告）日: 2019-01-11
• 發明（設計）人: 李富裕;張立勇;王曉恒
• 申請（專利權）人: 山東浪潮云投信息科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/50
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

本發明特別涉及一種安全模式下添加Hadoop集群用戶的方法。該安全模式下添加Hadoop集群用戶的方法，采用B/S架構，在web界面發送添加用戶請求，基于需要添加的用戶信息，調用REST API查看集群上計算節點上是否存在該用戶；如果用戶不存在，調用Python語言實現用戶添加腳本，將用戶添加進Hadoop集群當中，并將添加成功或者失敗的運行結果返回后臺服務器。該安全模式下添加Hadoop集群用戶的方法，提供了可視化操作界面，可以將用戶實時添加進Secure Mode下的Hadoop集群中，提高了用戶添加的時效性、易用性。

技術領域

本發明涉及大數據技術領域，特別涉及一種安全模式下添加Hadoop集群用戶的方法。

背景技術

Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。Hadoop得以在大數據處理應用中廣泛應用得益于其自身在數據提取、變形和加載(ETL)方面上的天然優勢。Hadoop的分布式架構，將大數據處理引擎盡可能的靠近存儲，對例如像ETL這樣的批處理操作相對合適，因為類似這樣操作的批處理結果可以直接走向存儲。Hadoop的MapReduce功能實現了將單個任務打碎，并將碎片任務(Map)發送到多個節點上，之后再以單個數據集的形式加載(Reduce)到數據倉庫里。

Hadoop主要有以下幾個優點：

（1）高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。

（2）高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。

（3）高效性。Hadoop能夠在節點之間動態地移動數據，并保證各個節點的動態平衡，因此處理速度非常快。

（4）高容錯性。Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配。

（5）低成本。與一體機、商用數據倉庫以及QlikView、Yonghong Z-Suite等數據集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。

在安全模式（Secure Mode）下的Hadoop集群，Linux Container Executor要求所有提交任務的用戶在集群的計算節點上創建，完成用戶創建才能保證container正常啟動。因此，需要去每一個節點上創建用戶，并為用戶創建主目錄。目前的操作方式是在每一個節點上執行添加用戶的操作，缺乏統一的入口完成用戶的添加。如果集群規模非常大，操作的難度可想而知。

基于上述情況，本發明提出了一種安全模式下添加Hadoop集群用戶的方法。

發明內容

本發明為了彌補現有技術的缺陷，提供了一種簡單高效的安全模式下添加Hadoop集群用戶的方法。

本發明是通過如下技術方案實現的：

一種安全模式下添加Hadoop集群用戶的方法，其特征在于：采用B/S架構，在web界面發送添加用戶請求，基于需要添加的用戶信息，調用REST API查看集群上計算節點上是否存在該用戶；如果用戶不存在，調用Python語言實現用戶添加腳本，將用戶添加進Hadoop集群當中，并將添加成功或者失敗的運行結果返回后臺服務器。

具體包括以下步驟：

（1）由客服端發送添加用戶請求，并將所添加用戶信息作為參數傳給后臺服務器；

（2）后臺服務器獲取Hadoop集群的計算節點；

（3）調用Python實現查詢腳本，查詢請求添加的用戶是否為節點存在用戶，如果用戶不存在，添加用戶，繼續執行下一步，如果用戶存在則直接執行下一步；