[發(fā)明專利]一種實現(xiàn)Spark Thrift Server高可用的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211588431.5
• 申請日: 2022-12-12
• 公開（公告）號: CN116192938A
• 公開（公告）日: 2023-05-30
• 發(fā)明（設計）人: 魏崢;李國濤;周永進;秦雪嬌;夏傳濤
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: H04L67/54
• 分類號: H04L67/54;H04L67/14;H04L67/30;H04L61/5076
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜麗潔

1.一種實現(xiàn)Spark?Thrift?Server高可用的方法，其特征在于，Spark?Thrift?Server啟動時，讀取配置文件中ZooKeeper連接地址、ZooKeeper端口號和ZooKeeper命名空間，獲取ZooKeeper客戶端連接，將Spark?Thrift?Server信息寫入ZooKeeper；

當客戶端連接Spark?Thrift?Server服務時，將原來的JDBC連接地址由IP、端口號替換成ZooKeeper連接地址，連接時首先請求ZooKeeper服務，獲取命名空間下所有SparkThrift?Server節(jié)點，通過均衡算法選舉一個Spark?Thrift?Server節(jié)點，連接到SparkThrift?Server，當Spark?Thrift?Server服務停止時，同時需要從ZooKeeper中將節(jié)點信息注銷。

2.根據(jù)權利要求1所述的一種實現(xiàn)Spark?Thrift?Server高可用的方法，其特征在于，在Spark?Thrift?Server中添加addServerInstanceToZooKeeper和removeServerInstanceFromZooKeeper代碼塊，用于注冊及注銷ZooKeeper服務。

3.根據(jù)權利要求2所述的一種實現(xiàn)Spark?Thrift?Server高可用的方法，其特征在于，添加addServerInstanceToZooKeeper和removeServerInstanceFromZooKeeper代碼塊時，具體的邏輯如下：

首先在Spark配置文件中添加hive.server2.support.dynamic.service.discovery配置項，將值改為true，使Spark?Thrift?Server服務被動態(tài)發(fā)現(xiàn)，添加hive.server2.zookeeper.namespace配置項，值為ZooKeeper命名空間名稱，當Spark?Thrift?Server啟動時將節(jié)點信息寫到該命名空間下，添加hive.zookeeper.quorum配置項，所述配置項為ZooKeeper服務的連接地址，同時添加hive.zookeeper.client.port配置項，所述配置項為ZooKeeper連接的端口號，通過添加這兩個配置項連接到ZooKeeper，將節(jié)點信息寫入節(jié)點中。

4.根據(jù)權利要求3所述的一種實現(xiàn)Spark?Thrift?Server高可用的方法，其特征在于，修改Spark?Thrift?Server啟動代碼，如果配置了動態(tài)發(fā)現(xiàn)為true則利用反射原理調(diào)用addServerInstanceToZooKeeper方法，將Spark?Thrift?Server節(jié)點注冊到ZooKeeper；

addServerInstanceToZooKeeper執(zhí)行邏輯如下：首先讀取Spark配置文件，獲取ZooKeeper?IP地址、ZooKeeper端口號、ZooKeeper命名空間、ZooKeeper會話超時時間、ZooKeeper連接失敗最大重試次數(shù)和每次重試間隔，用于初始化ZooKeeper客戶端；

ZooKeeper客戶端創(chuàng)建完成后，創(chuàng)建ZooKeeper數(shù)據(jù)節(jié)點znode，數(shù)據(jù)節(jié)點名稱為SparkThrift?Server統(tǒng)一資源標識符加版本號加序列號，數(shù)據(jù)節(jié)點內(nèi)容為Spark?Thrift?Server節(jié)點相關信息，添加getServerInstanceURI方法用于獲取Spark?Thrift?Server節(jié)點IP地址和端口號，調(diào)用getHostName和getPortNumber方法分別獲取IP地址和端口號，添加addConfsToPublish方法，用于獲取需要寫入ZooKeeper數(shù)據(jù)節(jié)點的屬性值。