[發(fā)明專利]一種基于HQL的跨集群數(shù)據(jù)處理系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202110950767.0
• 申請日: 2021-08-18
• 公開（公告）號: CN113590651B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 王守明
• 申請（專利權(quán)）人: 四川新網(wǎng)銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/27;G06F16/22
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 林菲菲

本發(fā)明公開了一種基于HQL的跨集群數(shù)據(jù)處理系統(tǒng)及方法，該系統(tǒng)包括客戶端、計(jì)算引擎管理模塊、集群管理模塊、跨集群表管理模塊；客戶端，用于將待查詢的HQL語句發(fā)送到計(jì)算引擎管理模塊，同時接收查詢的結(jié)果數(shù)據(jù)；計(jì)算引擎管理模塊，用于使用Hive引擎解析客戶端發(fā)送過來的HQL語句，分析出HQL中的所用到的表以及表所屬的集群，實(shí)現(xiàn)本集群或跨集群計(jì)算；集群管理模塊，用于實(shí)時地獲取所有集群的計(jì)算資源和存儲資源，并計(jì)算出當(dāng)前最空閑的集群，供計(jì)算引擎管理模塊獲取得到最空閑的集群來執(zhí)行HQL語句；跨集群表管理模塊，用于管理和維護(hù)跨集群同步過來的表。本發(fā)明解決跨集群HQL的數(shù)據(jù)計(jì)算，提升運(yùn)算速度和集群的資源利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種基于HQL的跨集群數(shù)據(jù)處理系統(tǒng)及方法。

背景技術(shù)

Hive是基于Hadoop(由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu))開發(fā)的一個數(shù)據(jù)倉庫工具，可以簡單地將一個結(jié)構(gòu)化的數(shù)據(jù)映射成為數(shù)據(jù)庫中的一張表，同時還定義了簡單的SQL(結(jié)構(gòu)化查詢語言)查詢語言，稱之為HQL，Hive執(zhí)行引擎將簡單的HQL語句轉(zhuǎn)化為MapReduce(一種分布式計(jì)算系統(tǒng))任務(wù)用于分布式大數(shù)據(jù)的分析和挖掘，Map-Reduce系統(tǒng)中包含有Map(映射)單元和Reduce(歸約)單元，Map單元用于進(jìn)行數(shù)據(jù)映射，實(shí)現(xiàn)分揀和分堆，Reduce單元進(jìn)行數(shù)據(jù)合并。HQL的出現(xiàn)極大地降低了數(shù)倉分析人員的學(xué)習(xí)成本，對數(shù)據(jù)分析發(fā)揮著重要的作用。

然而隨著業(yè)務(wù)的發(fā)展，往往數(shù)據(jù)分布在不同的集群上，由于HQL只能在單集群下的數(shù)據(jù)分析，在這種跨集群的場景下，HQL將不能發(fā)揮優(yōu)勢，現(xiàn)有的技術(shù)方案就是由集群運(yùn)維人員將數(shù)據(jù)同步到同一集群，并將數(shù)據(jù)映射成一張Hive表，這樣不僅費(fèi)事費(fèi)力，不利于數(shù)倉分析人員對數(shù)據(jù)的快速分析，同時也增加了對數(shù)據(jù)的維護(hù)成本。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種基于HQL的跨集群數(shù)據(jù)處理系統(tǒng)及方法，解決跨集群HQL的數(shù)據(jù)計(jì)算、處理；本發(fā)明通過該系統(tǒng)，數(shù)倉分析人員將較好地利用HQL便利性來實(shí)現(xiàn)多個集群的數(shù)據(jù)分析，同時也減少了運(yùn)維人員對數(shù)據(jù)的維護(hù)成本。

本發(fā)明通過下述技術(shù)方案實(shí)現(xiàn)：

第一方面，本發(fā)明提供了一種基于HQL的跨集群數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)包括客戶端、計(jì)算引擎管理模塊、集群管理模塊、跨集群表管理模塊；

所述客戶端，用于將待查詢的HQL語句發(fā)送到計(jì)算引擎管理模塊，同時接收所述計(jì)算引擎管理模塊查詢的結(jié)果數(shù)據(jù)；

所述計(jì)算引擎管理模塊，用于使用Hive引擎解析客戶端發(fā)送過來的HQL語句，分析出HQL中的所用到的表、以及表所屬的集群(可能是本集群，也可能是非本集群)，實(shí)現(xiàn)本集群或跨集群計(jì)算；同時該模塊支持跨集群HQL的語法檢查；

所述集群管理模塊，用于實(shí)時地獲取所有集群的計(jì)算資源和存儲資源，并計(jì)算出當(dāng)前最空閑的集群，供所述計(jì)算引擎管理模塊獲取得到最空閑的集群來執(zhí)行HQL語句；

所述跨集群表管理模塊，用于管理和維護(hù)這些跨集群同步過來的表，即管理由非本集群同步到本集群的表；該模塊默認(rèn)是開啟自動清除同步過來的表，如果關(guān)閉，將通過該模塊實(shí)現(xiàn)手動刪除。

進(jìn)一步地，考慮到本系統(tǒng)的設(shè)計(jì)目標(biāo)為滿足多集群的HQL計(jì)算，需要對集群的一些配置屬性信息需要維護(hù)管理，即所述集群管理模塊還用于對集群的配置屬性信息進(jìn)行維護(hù)管理。所述集群的配置屬性信息包括集群名稱(HQL語句中的表名稱會使用該屬性)、集群yarn地址信息、集群HiveThriftServcer地址信息和集群hdfs的地址信息；獲取這些信息主要目的是選擇一個最空閑的集群，將最終由計(jì)算引擎管理模塊解析后的HQL語句，提交到該集群，以提升集群的利用率和任務(wù)的運(yùn)算效率。其中：

(1)集群名稱：HQL中的表名稱會使用，表名稱的約定的規(guī)則為：[集群名稱.數(shù)據(jù)庫名稱.表名稱]；