[發(fā)明專(zhuān)利]大數(shù)據(jù)平臺(tái)安全防護(hù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711357084.4
• 申請(qǐng)日: 2017-12-16
• 公開(kāi)（公告）號(hào): CN108337104A
• 公開(kāi)（公告）日: 2018-07-27
• 發(fā)明（設(shè)計(jì)）人: 鄒保平;賴(lài)偉平;張楊華;林佳能;林筆星;蘇志勇;陳明輝;林慶瑞;林宇;徐祿
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)網(wǎng)信通億力科技有限責(zé)任公司;國(guó)家電網(wǎng)公司
• 主分類(lèi)號(hào): H04L12/24
• 分類(lèi)號(hào): H04L12/24;H04L12/26;H04L29/06;H04L29/08
• 代理公司: 福州智理專(zhuān)利代理有限公司 35208
• 代理人: 康永輝

本發(fā)明涉及一種大數(shù)據(jù)平臺(tái)安全防護(hù)方法,所述的方法是將hadoop大數(shù)據(jù)平臺(tái)相關(guān)組件使用防火墻與客戶(hù)端進(jìn)行隔離，客戶(hù)端與hadoop大數(shù)據(jù)平臺(tái)相關(guān)組件通信需通過(guò)數(shù)據(jù)權(quán)限網(wǎng)關(guān)進(jìn)行，由權(quán)限管理組件進(jìn)行認(rèn)證、授權(quán)和審計(jì)。該安全防護(hù)方法不存在單點(diǎn)故障節(jié)點(diǎn)，性能可根據(jù)需求彈性擴(kuò)展;Hadoop節(jié)點(diǎn)擴(kuò)展對(duì)安全管理沒(méi)有任何影響，管理方便、簡(jiǎn)單;客戶(hù)端使用自有協(xié)議的軟件與數(shù)據(jù)權(quán)限網(wǎng)關(guān)進(jìn)行通信，支持加密和自動(dòng)負(fù)載均衡，可防止任意設(shè)備的單點(diǎn)故障對(duì)業(yè)務(wù)造成影響。

技術(shù)領(lǐng)域

本發(fā)明涉及一種大數(shù)據(jù)平臺(tái)安全防護(hù)方法。

背景技術(shù)

隨著近年來(lái)信息系統(tǒng)的快速穩(wěn)定發(fā)展的需要，國(guó)內(nèi)應(yīng)用和研究Hadoop大數(shù)據(jù)平臺(tái)的企業(yè)也越來(lái)越多，包括淘寶、百度、騰訊、網(wǎng)易、金山等，很多科研院所也投入到Hadoop大數(shù)據(jù)平臺(tái)的應(yīng)用和研究中，包括中科院、清華大學(xué)、浙江大學(xué)和華中科技大學(xué)等。當(dāng)前大一點(diǎn)的公司都采用了共享Hadoop集群的模式，這種模式可以減小維護(hù)成本，且避免數(shù)據(jù)過(guò)度冗余，增加硬件成本。共享Hadoop是指：（1）管理員把研發(fā)人員分成若干個(gè)隊(duì)列，每個(gè)隊(duì)列分配一定量的資源，每個(gè)用戶(hù)或者用戶(hù)組只能使用某個(gè)隊(duì)列中得資源；（2）HDFS上存有各種數(shù)據(jù)，有公用的，有機(jī)密的，不同的用戶(hù)可以訪(fǎng)問(wèn)不同的數(shù)據(jù)。共享集群類(lèi)似于云計(jì)算或者云存儲(chǔ)，面臨的一個(gè)最大問(wèn)題是安全。

到目前為止，Hadoop大數(shù)據(jù)平臺(tái)絕大多數(shù)安全機(jī)制都是基于Kerberos實(shí)現(xiàn)的，管理復(fù)雜，維護(hù)困難。主要存在以下三個(gè)缺點(diǎn)：

1. Hadoop集群節(jié)點(diǎn)數(shù)多，配置和維護(hù)一個(gè)使用kerberos系統(tǒng)高性能，穩(wěn)定的hadoop集群難度非常高。

2. Hadoop中的hdfs是一個(gè)文件系統(tǒng)，用戶(hù)的認(rèn)證和授權(quán)比較復(fù)雜，難度不低于linux系統(tǒng)的用戶(hù)和組管理。加上kerberos后，用戶(hù)和用戶(hù)組的管理更加復(fù)雜，通常一個(gè)合適的用戶(hù)不能訪(fǎng)問(wèn)hdfs上的文件。

3. Hadoop加上kerberos后，通常原來(lái)的用戶(hù)和文件，可能都失效導(dǎo)致數(shù)據(jù)流失。尤其是一些根目錄，往往需要格式化整個(gè)系統(tǒng)才能使用。增加一個(gè)新用戶(hù)也是比較難的。因?yàn)橐紤]各個(gè)節(jié)點(diǎn)間的訪(fǎng)問(wèn)權(quán)限。

為解決基于Kerberos的管理復(fù)雜的問(wèn)題，本發(fā)明提供一種外掛的網(wǎng)關(guān)式的安全防護(hù)方法。

發(fā)明內(nèi)容

本發(fā)明提供一種大數(shù)據(jù)平臺(tái)安全防護(hù)方法，本發(fā)明所采用的技術(shù)方案是：所述的方法是將hadoop大數(shù)據(jù)平臺(tái)相關(guān)組件使用防火墻與客戶(hù)端進(jìn)行隔離，客戶(hù)端與hadoop大數(shù)據(jù)平臺(tái)相關(guān)組件通信需通過(guò)數(shù)據(jù)權(quán)限網(wǎng)關(guān)進(jìn)行，由權(quán)限管理組件進(jìn)行認(rèn)證、授權(quán)和審計(jì);

所述的方法是將hadoop大數(shù)據(jù)平臺(tái)相關(guān)組件④使用防火墻⑤與客戶(hù)端①進(jìn)行隔離，客戶(hù)端①與hadoop大數(shù)據(jù)平臺(tái)相關(guān)組件④通信需通過(guò)數(shù)據(jù)權(quán)限網(wǎng)關(guān)②進(jìn)行，由權(quán)限管理組件③進(jìn)行認(rèn)證、授權(quán)和審計(jì);數(shù)據(jù)權(quán)限網(wǎng)關(guān)②由網(wǎng)關(guān)和zookeeper組成，網(wǎng)關(guān)和zookeeper均可根據(jù)需求彈性擴(kuò)展;客戶(hù)端①使用自有協(xié)議的軟件與數(shù)據(jù)權(quán)限網(wǎng)關(guān)②進(jìn)行通信，支持加密和自動(dòng)負(fù)載均衡;數(shù)據(jù)權(quán)限網(wǎng)關(guān)②中的網(wǎng)關(guān)定時(shí)向zookeeper報(bào)告心跳信息，將狀態(tài)和負(fù)荷信息寫(xiě)入zookeeper。心跳時(shí)間可自定義調(diào)整，在10毫秒~10秒之間調(diào)整;

客戶(hù)端①與數(shù)據(jù)權(quán)限網(wǎng)關(guān)②之間采用非對(duì)稱(chēng)密鑰加密通信方式;

客戶(hù)端①與數(shù)據(jù)權(quán)限網(wǎng)關(guān)②通信時(shí)支持輪詢(xún)、hash、最低資源占用、響應(yīng)最快、最低負(fù)載等負(fù)載均衡算法;

權(quán)限管理組件③中的平臺(tái)權(quán)限管理模塊將權(quán)限信息存儲(chǔ)在權(quán)限信息緩存和權(quán)限信息持久化中，權(quán)限信息緩存和權(quán)限信息持久化之間進(jìn)行數(shù)據(jù)同步。平臺(tái)權(quán)限管理模塊從權(quán)限信息緩存中獲取數(shù)據(jù);權(quán)限信息緩存的存儲(chǔ)方式包括但不限于memcached、redis等NOSQL內(nèi)存數(shù)據(jù)庫(kù)，權(quán)限信息持久化的存儲(chǔ)方式可以是磁盤(pán)文件或者關(guān)系型數(shù)據(jù)庫(kù)。