[發明專利]一種基于HQL的跨集群數據處理系統及方法

有效

• 申請號: 202110950767.0
• 申請日: 2021-08-18
• 公開（公告）號: CN113590651B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 王守明
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/27;G06F16/22
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 林菲菲

1.一種基于HQL的跨集群數據處理系統，其特征在于，該系統包括客戶端、計算引擎管理模塊、集群管理模塊、跨集群表管理模塊；

所述客戶端，用于將待查詢的HQL語句發送到計算引擎管理模塊，同時接收所述計算引擎管理模塊查詢的結果數據；

所述計算引擎管理模塊，用于使用Hive引擎解析客戶端發送過來的HQL語句，分析出HQL中的所用到的表、以及表所屬的集群，實現本集群或跨集群計算；

所述集群管理模塊，用于實時地獲取所有集群的計算資源和存儲資源，并計算出當前最空閑的集群，供所述計算引擎管理模塊獲取得到最空閑的集群來執行HQL語句；

所述跨集群表管理模塊，用于管理和維護跨集群同步過來的表，即管理由非本集群同步到本集群的表；

所述計算引擎管理模塊的執行過程具體包括：

使用Hive引擎解析客戶端發送過來的HQL語句，解析該HQL語句的類型，HQL語句的類型包括DML類型、DDL類型；

如果解析出的HQL語句為DDL類型，那么繼續解析該HQL語句所操作的對應集群，同時把HQL語句發送到對應的本集群去執行；

如果解析出的HQL語句為DML類型，那么繼續解析該HQL語句為select語句還是非select語句；

若解析出來為select語句，則繼續解析該HQL所涉及的表以及表所對應的集群，同時調用所述集群管理模塊，查詢出當前資源比較空閑的集群，同時把HQL語句發送到該集群執行；所述當前資源比較空閑的集群包括本集群或者非本集群；

若解析出來為非select語句，則繼續解析要插入或者刪除或更新表所在的集群，同時解析該HQL語句所涉及到的其他表以及表所屬的集群；如果該HQL語句所涉及到的其他表以及表所屬的集群，與要插入或者刪除或更新表所在的集群均在本集群，那么在本集群執行，并把執行結果數據返回給客戶端；如果該HQL語句所涉及到的其他表以及表所屬的集群，與要插入或者刪除或更新表所在的集群不在同一集群，那么采用跨集群同步方法進行處理，并把執行結果數據返回給客戶端。

2.根據權利要求1所述的一種基于HQL的跨集群數據處理系統，其特征在于，所述集群管理模塊，還用于對集群的配置屬性信息進行維護管理。

3.根據權利要求2所述的一種基于HQL的跨集群數據處理系統，其特征在于，所述集群的配置屬性信息包括集群名稱、集群yarn地址信息、集群HiveThriftServer地址信息和集群hdfs的地址信息。

4.根據權利要求1所述的一種基于HQL的跨集群數據處理系統，其特征在于，若解析出來為非select語句，則繼續解析要插入或者刪除或更新表所在的集群，同時解析該HQL語句所涉及到的其他表以及表所屬的集群；如果該HQL語句所涉及到的其他表以及表所屬的集群，與要插入或者刪除或更新表所在的集群不在同一集群，那么采用跨集群同步方法進行處理，并把執行結果數據返回給客戶端；具體包括：

要插入或者刪除或更新表所在的集群記作clusterA，該HQL語句所涉及到的其他表以及表所屬的集群記作clusterB、其他表記作clusterB.D.t；

獲取表clusterB.D.t的建表語句和所在的HDFS路徑，記作路徑為path001，同時在集群clusterA中創建與表clusterB.D.t對應的hive表clusterA.D.t；在集群clusterA中使用discp命令從集群clusterB中復制path001到tmp/path001目錄，使用load命令將集群cluserA中

/tmp/path001的數據加載到新建的hive表clusterA.D.t中；并在集群clusterA中執行該非select語句，并將執行的結果發送到客戶端，同時刪除集群clusterA中的hive表clusterA.D.t。

5.根據權利要求1所述的一種基于HQL的跨集群數據處理系統，其特征在于，所述計算引擎管理模塊在執行使用Hive引擎解析客戶端發送過來的HQL語句，解析出該HQL語句的類型之前還執行如下：

使用Antlr4技術框架分析客戶端發送過來的HQL語句的語法是否正確，若HQL語句的語法正確，則執行解析該HQL語句的類型；若HQL語句的語法錯誤，則將錯誤信息返回給客戶端。