[發明專利]多個Hadoop集群的訪問方法、裝置和計算機設備

在審

• 申請號: 202210166936.6
• 申請日: 2022-02-23
• 公開（公告）號: CN114579516A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 郝衛亮
• 申請（專利權）人: 杭州玳數科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;H04L9/40
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種多個Hadoop集群的訪問方法，其特征在于，包括以下步驟：

確定每個Hadoop集群已開啟kerberos認證且各個所述Hadoop集群的KDC不同的情況下，獲取所述kerberos認證對應的krb5.conf文件；

將多個所述krb5.conf文件進行合并處理；

確定每個Hadoop集群的YARN ResourceManger組件和HDFS NameNode組件，并確定每個所述YARN ResourceManger組件和所述HDFS NameNode組件的主機名hostname，及確定所述kerberos認證對應的域Realm；

確定多個所述hostname和所述Realm間的映射，并將所述hostname和所述Realm間的映射設置在domain_realm欄；

判斷本地緩存中是否存在UserGroupInformation對象；

如果本地緩存中存在所述UserGroupInformation對象，則獲取所述UserGroupInformation對象，并對多個Hadoop集群進行訪問。

2.根據權利要求1所述的多個Hadoop集群的訪問方法，其特征在于，將多個所述krb5.conf文件進行合并處理，包括：

從多個所述krb5.conf文件中隨機選取一個krb5.conf文件作為基準krb5.conf文件；

以所述基準krb5.conf文件作為合并的基準，將多個所述krb5.conf文件進行合并處理。

3.根據權利要求1所述的多個Hadoop集群的訪問方法，其特征在于，還包括：

如果本地緩存中不存在所述UserGroupInformation對象，則設置JVM環境參數java.security.krb5.conf來指定合并后的krb5.conf文件路徑；

通過調用UserGroupInformation.loginUserFromKeytabAndReturnUGI方法創建UserGroupInformation對象，并將創建好的UserGroupInformation對象存儲于本地緩存中。

4.根據權利要求3所述的多個Hadoop集群的訪問方法，其特征在于，在對多個Hadoop集群進行訪問之前，還包括：

獲取票據信息，并判斷所述票據信息是否過期；

在所述票據信息過期時，重新創建UserGroupInformation對象。

5.根據權利要求4所述的多個Hadoop集群的訪問方法，其特征在于，對多個Hadoop集群進行訪問，包括：

調用doAs方法對Hadoop集群進行訪問。

6.一種多個Hadoop集群的訪問裝置，其特征在于，包括：

獲取模塊，用于確定每個Hadoop集群已開啟kerberos認證且各個所述Hadoop集群的KDC不同的情況下，獲取所述kerberos認證對應的krb5.conf文件；

合并模塊，用于將多個所述krb5.conf文件進行合并處理；

確定模塊，用于確定每個Hadoop集群的YARN ResourceManger組件和HDFS NameNode組件，并確定每個所述YARN ResourceManger組件和所述HDFS NameNode組件的主機名hostname，及確定所述kerberos認證對應的域Realm；

設置模塊，用于確定多個所述hostname和所述Realm間的映射，并將所述hostname和所述Realm間的映射設置在domain_realm欄；

判斷模塊，用于判斷本地緩存中是否存在UserGroupInformation對象；

訪問模塊，用于如果本地緩存中存在所述UserGroupInformation對象，則獲取所述UserGroupInformation對象，并對多個Hadoop集群進行訪問。

7.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時，實現根據權利要求1-5中任一項所述的多個Hadoop集群的訪問方法。