[發明專利]一種支持多租戶的大數據平臺及租戶訪問方法

在審

• 申請號: 201510538231.2
• 申請日: 2015-08-28
• 公開（公告）號: CN105183820A
• 公開（公告）日: 2015-12-23
• 發明（設計）人: 柴滿;徐健;王國輝
• 申請（專利權）人: 廣東創我科技發展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市君勝知識產權代理事務所 44268
• 代理人: 王永文;劉文求

技術領域

本發明涉及大數據技術領域，特別涉及一種支持多租戶的大數據平臺及租戶訪問方法。

背景技術

在大數據時代，為了存儲和處理海量數據，需要規模較大的服務器集群，一般說來，這些集群上運行著數量眾多類型紛雜的應用程序和服務，比如離線作業，流式作業，迭代式作業等，傳統的做法是，每種類型的作業或者服務對應一個單獨的集群，以避免相互干擾。這樣，集群被分割成數量眾多的小集群，由于不同類型的作業/服務需要的資源量不同，這些小集群的利用率通常很不均衡，有的集群滿負荷、資源緊張，而另外一些則長時間閑置、資源利用率極低。

因而現有技術還有待改進和提高。

發明內容

本發明要解決的技術問題在于，針對現有技術的不足，提供一種支持多租戶的大數據平臺及租戶訪問方法，其能夠解決現有每種類型的作業或者服務對應一個單獨的集群，而造成的小集群的利用率不均衡的問題。

為了解決上述技術問題，本發明所采用的技術方案如下：

一種支持多租戶的大數據平臺，其包括：hadoop集群、管理模塊和登錄模塊；

所述hadoop集群用于部署多個業務；

所述管理模塊設置于hadoop集群上，用于驗證租戶訪問hadoop的權限，并根據所述權限進行相應操作；

所述登錄模塊用于獲取租戶登錄請求，驗證租戶信息。

所述登錄模塊用于管理租戶操作數據、提交任務請求和查看任務進度。

所述管理模塊包括：權限管理模塊、任務調度模塊和資源管理模塊；

所述權限管理模塊，用于管理多租戶的權限，根據不同租戶授權，系統管理員配置租戶與數據、租戶與應用的對應關系；

所述任務調度模塊，用于管理員設置任務的調度規則，根據任務調度規則執行工作任務，并監控任務的執行情況；

所述資源管理模塊，用于系統管理員根據租戶分配集群資源，多租戶之間按分配使用存儲資源和計算資源。

所述資源管理模塊還用于為多租戶劃分獨立的存儲空間來實現租戶之間的數據隔離，將每個租戶的數據信息存儲在獨立的存儲空間中，每個租戶數據模型的更改不會影響其他租戶的數據。

所述權限管理模塊還用于委派給不同管理員對不同數據集設置權限。

一種租戶訪問大數據平臺方法，所述租戶訪問上述大數據平臺，其具體包括：

A、租戶通過統一登錄模塊登錄hadoop集群；

B、租戶登錄成功后，向hadoop集群發送任務請求；

C、管理模塊的權限管理模塊驗證租戶是否具有訪問任務用到的數據的權限和使用任務用到資源的權限；

D、租戶通過驗證后，在hadoop集群上執行任務。

所述步驟C，其具體為：

C1、管理模塊的權限管理模塊驗證租戶是否具有訪問任務用到的數據的權限；

C2、當租戶具有訪問數據權限，管理模塊的權限管理模塊驗證租戶是否具有使用任務用到資源的權限。

有益效果：與現有技術相比，本發明所提供支持多租戶的大數據平臺，其包括：hadoop集群、管理模塊和統一登錄模塊；所述hadoop集群用于部署多個業務；所述管理模塊設置于hadoop集群上，用于管理員管理多租戶訪問數據和資源的權限，所述統一登錄模塊用于多租戶登錄訪問hadoop集群。本方法將多個業務統一部署在一個集群上，通過在hadoop集群上設置管理模塊和統一登錄模塊，實現hadoop集群的多租戶模式，讓多租戶同時使用統一的大數據平臺，建立統一的調度平臺，實現了數據的統一化管理。從根本上解決了現有每種類型的作業或者服務對應一個單獨的集群，而造成的小集群的利用率不均衡的問題。

附圖說明

圖1為本發明提供支持多租戶的大數據平臺示意圖。

圖2為本發明提供支持多租戶的大數據平臺具體實施例示意圖。

圖3為租戶訪問大數據平臺的流程圖。

具體實施方式

本發明提供一種支持多租戶的大數據平臺及租戶訪問方法，為使本發明的目的、技術方案及效果更加清楚、明確，以下參照附圖并舉實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不用于限定本發明。

下面結合附圖，通過對實施例的描述，對發明內容作進一步說明。