[發(fā)明專利]基于Plcient交互式引擎的索引方法及其系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711203695.3
• 申請日: 2017-11-27
• 公開（公告）號: CN107818181A
• 公開（公告）日: 2018-03-20
• 發(fā)明（設(shè)計）人: 官輝;顧正
• 申請（專利權(quán)）人: 深圳市華成峰科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市精英專利事務(wù)所44242
• 代理人: 馮筠

1.基于Plcient交互式引擎的索引方法，其特征在于，所述方法包括：

獲取HiveQL語句；

對HiveQL語句進行Plcient編譯，獲取執(zhí)行任務(wù)；

將執(zhí)行任務(wù)提交給控制節(jié)點；

控制節(jié)點將執(zhí)行任務(wù)轉(zhuǎn)交給執(zhí)行進程引擎并執(zhí)行，獲取元數(shù)據(jù)信息；

將元數(shù)據(jù)信息提交給任務(wù)跟蹤器或者資源管理器并執(zhí)行；

讀取HDFS中文件進行相應(yīng)的操作，獲取并返回執(zhí)行結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于Plcient交互式引擎的索引方法，其特征在于，獲取HiveQL語句的步驟，包括以下具體步驟：

提交查詢?nèi)蝿?wù)至控制節(jié)點；

獲取查詢?nèi)蝿?wù)；

根據(jù)查詢?nèi)蝿?wù)從元數(shù)據(jù)存儲庫中獲取對應(yīng)的Hive元數(shù)據(jù)信息，形成HiveQL語句。

3.根據(jù)權(quán)利要求1或2所述的基于Plcient交互式引擎的索引方法，其特征在于，對HiveQL語句進行Plcient編譯，獲取執(zhí)行任務(wù)的步驟，包括以下具體步驟：

將HiveQL語句轉(zhuǎn)換為抽象語法樹；

將抽象語法樹轉(zhuǎn)換成查詢塊；

將查詢塊轉(zhuǎn)化為邏輯查詢計劃并重寫邏輯查詢計劃；

將邏輯計劃轉(zhuǎn)化為物理計劃，形成執(zhí)行任務(wù)。

4.根據(jù)權(quán)利要求3所述的基于Plcient交互式引擎的索引方法，其特征在于，將HiveQL語句轉(zhuǎn)換為抽象語法樹的步驟，包括以下具體步驟：

使用Antlr定義HiveQL語句的語法規(guī)則；

根據(jù)語法規(guī)則對HiveQL語句進行詞法以及語法解析，形成抽象語法樹。

5.根據(jù)權(quán)利要求4所述的基于Plcient交互式引擎的索引方法，其特征在于，將抽象語法樹轉(zhuǎn)換成查詢塊的步驟，包括以下具體步驟：

按照順序遍歷抽象語法樹；

獲取不同的象征節(jié)點，保存到相應(yīng)的屬性中，形成外層查詢塊以及子查詢塊。

6.根據(jù)權(quán)利要求5所述的基于Plcient交互式引擎的索引方法，其特征在于，將查詢塊轉(zhuǎn)化為邏輯的查詢計劃并重寫邏輯查詢計劃的步驟，包括以下具體步驟：

遍歷查詢塊，將查詢塊翻譯為執(zhí)行操作樹；

變換執(zhí)行操作樹，合并操作符；

遍歷執(zhí)行操作樹，將執(zhí)行操作樹翻譯為MapReduce任務(wù)，形成邏輯查詢計劃并重寫邏輯查詢計劃。

7.基于Plcient交互式引擎的索引系統(tǒng)，其特征在于，包括語句獲取單元、編譯單元、提交單元、轉(zhuǎn)交單元、執(zhí)行單元以及操作讀取單元；

所述語句獲取單元，用于獲取HiveQL語句；

所述編譯單元，用于對HiveQL語句進行Plcient編譯，獲取執(zhí)行任務(wù)；

所述提交單元，用于將執(zhí)行任務(wù)提交給控制節(jié)點；

所述轉(zhuǎn)交單元，用于控制節(jié)點將執(zhí)行任務(wù)轉(zhuǎn)交給執(zhí)行進程引擎并執(zhí)行，獲取元數(shù)據(jù)信息；

所述執(zhí)行單元，用于將元數(shù)據(jù)信息提交給任務(wù)跟蹤器或者資源管理器并執(zhí)行；

所述操作讀取單元，用于讀取HDFS中文件進行相應(yīng)的操作，獲取并返回執(zhí)行結(jié)果。

8.根據(jù)權(quán)利要求7所述的基于Plcient交互式引擎的索引系統(tǒng)，其特征在于，所述語句獲取單元包括任務(wù)提交模塊、任務(wù)獲取模塊以及信息獲取模塊；

所述任務(wù)提交模塊，用于提交查詢?nèi)蝿?wù)至控制節(jié)點；

所述任務(wù)獲取模塊，用于獲取查詢?nèi)蝿?wù)；

所述信息獲取模塊，用于根據(jù)查詢?nèi)蝿?wù)從元數(shù)據(jù)存儲庫中獲取對應(yīng)的Hive元數(shù)據(jù)信息，形成HiveQL語句。

9.根據(jù)權(quán)利要求8所述的基于Plcient交互式引擎的索引系統(tǒng)，其特征在于，所述編譯單元包括語句轉(zhuǎn)換模塊、抽象轉(zhuǎn)換模塊、查詢塊轉(zhuǎn)換模塊以及物理轉(zhuǎn)換模塊；

所述語句轉(zhuǎn)換模塊，用于將HiveQL語句轉(zhuǎn)換為抽象語法樹；

所述抽象轉(zhuǎn)換模塊，用于將抽象語法樹轉(zhuǎn)換成查詢塊；

所述查詢塊轉(zhuǎn)換模塊，用于將查詢塊轉(zhuǎn)化為邏輯查詢計劃并重寫邏輯查詢計劃；

所述物理轉(zhuǎn)換模塊，用于將邏輯計劃轉(zhuǎn)化為物理計劃，形成執(zhí)行任務(wù)。

10.根據(jù)權(quán)利要求9所述的基于Plcient交互式引擎的索引系統(tǒng)，其特征在于，所述語句轉(zhuǎn)換模塊包括定義子模塊以及解析子模塊；

所述定義子模塊，用于使用Antlr定義HiveQL語句的語法規(guī)則；

所述解析子模塊，用于根據(jù)語法規(guī)則對HiveQL語句進行詞法以及語法解析，形成抽象語法樹。