[發明專利]一種實現Spark Thrift Server高可用的方法及系統

在審

• 申請號: 202211588431.5
• 申請日: 2022-12-12
• 公開（公告）號: CN116192938A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 魏崢;李國濤;周永進;秦雪嬌;夏傳濤
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: H04L67/54
• 分類號: H04L67/54;H04L67/14;H04L67/30;H04L61/5076
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜麗潔

本發明涉及大數據存儲與計算技術領域，具體提供了一種實現Spark?Thrift?Server高可用的方法，Spark?Thrift?Server啟動時，獲取ZooKeeper客戶端連接，將Spark?Thrift?Server信息寫入ZooKeeper；當客戶端連接Spark?Thrift?Server服務時，連接時首先請求ZooKeeper服務，獲取命名空間下所有Spark?Thrift?Server節點，通過均衡算法選舉一個Spark?Thrift?Server節點，連接到Spark?Thrift?Server，當Spark?Thrift?Server服務停止時，同時需要從ZooKeeper中將節點信息注銷。與現有技術相比，本發明當某個Spark?Thrift?Server節點出現故障時，不會對客戶端造成影響，從而實現高可用。

技術領域

本發明涉及大數據存儲與計算技術領域，具體提供一種實現Spark?ThriftServer高可用的方法及系統。

背景技術

Spark?Thrift?Server是在HiveServer2的基礎上實現的，提供了Thrift服務，也就是遠程JDBC/ODBC服務。用戶可以通過命令行或JDBC/ODBC接口，進行交互式查詢，無需編寫任何代碼。用戶畫像，對受眾目標進行篩選，數據源是在Hive數據倉庫，早期直接采用Hive?on?Spark的方式去做處理，但是性能不是很高，計算比較慢，不能滿足近實時的要求，后來改用Thrift?Server，在大部分場景下，性能要比Hive?on?Spark好很多，Spark?SQL的社區活躍度也很高，因此性能還會不斷提高。

盡管我們使用Spark?Thrift?Server性能得到了提高，但同時也存在單點問題，所有Spark?SQL查詢都走唯一一個Spark?Thrift節點上的同一個Spark?Driver，任何故障都會導致這個唯一的Spark?Thrift節點上的所有作業失敗，從而需要重啟Spark?ThriftServer。

發明內容

本發明是針對上述現有技術的不足，提供一種實用性強的實現Spark?ThriftServer高可用的方法。

本發明進一步的技術任務是提供一種設計合理，安全適用的實現Spark?ThriftServer高可用的裝置。

本發明解決其技術問題所采用的技術方案是：

一種實現Spark?Thrift?Server高可用的方法，Spark?Thrift?Server啟動時，讀取配置文件中ZooKeeper連接地址、ZooKeeper端口號和ZooKeeper命名空間，獲取ZooKeeper客戶端連接，將Spark?Thrift?Server信息寫入ZooKeeper；

當客戶端連接Spark?Thrift?Server服務時，將原來的JDBC連接地址由IP、端口號替換成ZooKeeper連接地址，連接時首先請求ZooKeeper服務，獲取命名空間下所有SparkThrift?Server節點，通過均衡算法選舉一個Spark?Thrift?Server節點，連接到SparkThrift?Server，當Spark?Thrift?Server服務停止時，同時需要從ZooKeeper中將節點信息注銷。

進一步的，在Spark?Thrift?Server中添加addServerInstanceToZooKeeper和removeServerInstanceFromZooKeeper代碼塊，用于注冊及注銷ZooKeeper服務。

進一步的，添加addServerInstanceToZooKeeper和removeServerInstanceFromZooKeeper代碼塊時，具體的邏輯如下：