[發明專利]一種hadoop集群kerberos高可用認證方法

有效

• 申請號: 202010426597.1
• 申請日: 2020-05-19
• 公開（公告）號: CN111597536B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 彭亞飛;韋鵬程;付仕明
• 申請（專利權）人: 重慶第二師范學院
• 主分類號: G06F21/33
• 分類號: G06F21/33;G06F11/14
• 代理公司: 北京國坤專利代理事務所(普通合伙) 11491
• 代理人: 趙紅霞

本發明公開了一種hadoop集群kerberos高可用認證方法，在不同的Linux服務器部署多個kerberos?server；Linux定時器定時調用shell腳本對多個kerberos?server的數據進行同步與備份；Hadoop在啟動kerberos認證時，在krb5.conf的kdc參數配置所使用的所有kdc服務器地址；Hadoop集群中，節點通過調整kdc參數順序對kerberos認證優先順序進行調整，kerberos?server實現多備份，當hadoop在做kerberos認證時，可以根據其認證服務器配置做調整，在大規模集群里面，可以減少因為認證帶來的延時；同時，降低了kerberos?server單服務器的負載，保障了集群做kerberos認證的穩定性。

技術領域

本發明涉及計算機軟件應用技術領域，更具體地說，它涉及一種hadoop集群kerberos高可用認證方法。

背景技術

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。

Kerberos是一種網絡認證協議，其設計目標是通過密匙系統為客戶機/服務器應用程序提供強大的認證服務。該認證過程的實現不依賴于主機操作系統的認證，無需幾本主機地址的信任，不要求網絡上所有主機的物理安全，并假定網絡上傳輸的數據包可以被任意的讀取修改和插入。

Hadoop集群使用kerberos認證，是為了集群的安全性，Kerberos可以將認證的密鑰在集群部署時事先放到可靠的節點上。集群運行時，集群內的節點使用密鑰得到認證，只有被認證過節點才能正常使用，企圖冒充的節點由于沒有事先得到的密鑰信息，無法與集群內部的節點通信。防止了惡意的使用或篡改Hadoop集群的問題，確保了Hadoop集群的可靠安全。

然而，在大規模集群中，單個kerberos服務作為認證服務器，往往會出現問題：首先，有單點故障問題，當這臺kerberos認證服務器出現異常，則集群上的任務啟動認證會失敗，會導致整個集群異常；其次，當Hadoop集群節點達到一定規模，系統任務達到一定規模的時候，會出現單kerberos認證服務器認證延遲過高或者認證異常等情況，所以，單kerberos認證服務器已無法滿足大規模集群認證。因此，如何研究設計一種hadoop集群kerberos高可用認證方法是我們目前迫切需要解決的問題。

發明內容

本發明的目的是提供一種hadoop集群kerberos高可用認證方法，kerberosserver實現多備份，當hadoop在做kerberos認證時，可以根據其認證服務器配置做調整，在大規模集群里面，可以減少因為認證帶來的延時；同時，降低了kerberos?server單服務器的負載，保障了集群做kerberos認證的穩定性。

本發明的上述技術目的是通過以下技術方案得以實現的：一種hadoop集群kerberos高可用認證方法，包括以下步驟：

S1：在不同的Linux服務器部署多個kerberos?server；

S2：Linux定時器定時調用shell腳本對相應Linux服務器內的多個kerberosserver的數據相互之間進行同步與備份；

S3：Hadoop在啟動kerberos認證時，在krb5.conf的kdc參數配置所使用的所有kdc服務器地址；其中，默認第一個kdc參數為kerberos?server的主主(master-master)服務，第二個kdc參數為kerberos?server的備主(slave-master)服務，第三個kdc參數為slave服務；Hadoop集群中，節點通過調整kdc參數順序對kerberos認證優先順序進行調整。