[發(fā)明專利]批量數(shù)據(jù)查詢方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410673523.2
• 申請(qǐng)日: 2014-11-21
• 公開(kāi)（公告）號(hào): CN105677683B
• 公開(kāi)（公告）日: 2018-12-14
• 發(fā)明（設(shè)計(jì)）人: 李豐;王蕾;張赟;馮曉兵
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司;中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 馬爽;黃健

本發(fā)明實(shí)施例提供一種批量數(shù)據(jù)查詢方法和裝置，通過(guò)獲取多條查詢語(yǔ)句對(duì)應(yīng)的多棵邏輯查詢計(jì)劃樹(shù)，根據(jù)每棵邏輯查詢計(jì)劃樹(shù)的各操作符將多棵邏輯查詢計(jì)劃樹(shù)劃分為多個(gè)查詢組，每個(gè)查詢組中的邏輯查詢計(jì)劃樹(shù)之間具有下述關(guān)系：查詢間寫(xiě)讀依賴關(guān)系、操作符重疊關(guān)系或操作數(shù)重疊關(guān)系，然后，對(duì)每個(gè)查詢組內(nèi)的邏輯查詢計(jì)劃樹(shù)進(jìn)行查詢間優(yōu)化，根據(jù)優(yōu)化后的多棵邏輯查詢計(jì)劃樹(shù)生成對(duì)應(yīng)的多棵物理查詢計(jì)劃樹(shù)，最后，根據(jù)多棵物理查詢計(jì)劃樹(shù)執(zhí)行物理查詢得到多條查詢語(yǔ)句的查詢結(jié)果。所述方法通過(guò)對(duì)多棵邏輯查詢計(jì)劃樹(shù)進(jìn)行分組，提高了查詢組內(nèi)的邏輯查詢計(jì)劃樹(shù)之間的優(yōu)化機(jī)會(huì)，通過(guò)對(duì)查詢組內(nèi)的邏輯查詢計(jì)劃樹(shù)進(jìn)行查詢間優(yōu)化，提高了批量數(shù)據(jù)查詢的效率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)倉(cāng)庫(kù)查詢優(yōu)化技術(shù)，尤其涉及一種批量數(shù)據(jù)查詢方法和裝置。

背景技術(shù)

目前代表性的大數(shù)據(jù)查詢系統(tǒng)(如：Hive，Shark，Impala)均以單條查詢語(yǔ)句作為解析和優(yōu)化的基本單位，其基本查詢處理流程如下：首先，將讀入的單條查詢語(yǔ)句解析成樹(shù)狀結(jié)構(gòu)的邏輯查詢計(jì)劃樹(shù)，然后，通過(guò)對(duì)邏輯查詢計(jì)劃樹(shù)的每一個(gè)算子選擇實(shí)現(xiàn)算法，并確定這些算子的執(zhí)行順序，從而將邏輯查詢計(jì)劃樹(shù)轉(zhuǎn)換為物理查詢計(jì)劃，最后，查詢執(zhí)行引擎執(zhí)行該物理查詢計(jì)劃，并輸出查詢結(jié)果。

大數(shù)據(jù)查詢系統(tǒng)的一個(gè)關(guān)鍵性能是查詢效率，目前常用的提高大數(shù)據(jù)查詢系統(tǒng)查詢效率的方法主要是通過(guò)對(duì)邏輯查詢計(jì)劃樹(shù)進(jìn)行等價(jià)變換，以減少物理查詢計(jì)劃中的任務(wù)數(shù)量、降低任務(wù)的執(zhí)行開(kāi)銷(包括：降低對(duì)文件系統(tǒng)的讀寫(xiě)頻率、控制網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量以及查詢操作的計(jì)算量等)。然而，在數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)的批量查詢場(chǎng)景下，傳統(tǒng)的以單條查詢語(yǔ)句為解析和優(yōu)化基本單位的處理模式存在優(yōu)化機(jī)會(huì)不足的問(wèn)題。例如：Hive0.12版本新增的任務(wù)流關(guān)聯(lián)性優(yōu)化只能為標(biāo)準(zhǔn)測(cè)試集TPC-H共計(jì)22個(gè)查詢用例中的3個(gè)用例帶來(lái)加速，且對(duì)用例的書(shū)寫(xiě)方式有特定的要求。

與查詢內(nèi)優(yōu)化機(jī)會(huì)不足構(gòu)成強(qiáng)烈對(duì)比的是數(shù)據(jù)倉(cāng)庫(kù)批量查詢應(yīng)用場(chǎng)景中所呈現(xiàn)出的豐富的查詢間優(yōu)化機(jī)會(huì)，查詢間優(yōu)化機(jī)會(huì)即多條查詢語(yǔ)句之間存在的優(yōu)化機(jī)會(huì)，在批量查詢應(yīng)用場(chǎng)景下，查詢語(yǔ)句之間存在雷同的概率較高，因此，存在大量的查詢優(yōu)化機(jī)會(huì)，但是，現(xiàn)有技術(shù)中只針對(duì)單條查詢語(yǔ)句進(jìn)行查詢優(yōu)化，使得大數(shù)據(jù)查詢的查詢效率低下。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種批量數(shù)據(jù)查詢方法和裝置，以提高批量數(shù)據(jù)查詢效率。

本發(fā)明第一方面提供一種批量數(shù)據(jù)查詢方法，包括：

獲取多條查詢語(yǔ)句對(duì)應(yīng)的多棵邏輯查詢計(jì)劃樹(shù)，其中，每條查詢語(yǔ)句對(duì)應(yīng)一棵邏輯查詢計(jì)劃樹(shù)，所述多棵邏輯查詢計(jì)劃樹(shù)中的每棵邏輯查詢計(jì)劃樹(shù)包括多個(gè)操作符，所述每棵邏輯查詢計(jì)劃樹(shù)的每個(gè)操作符包括至少一個(gè)操作數(shù)；

根據(jù)所述每棵邏輯查詢計(jì)劃樹(shù)的各操作符將所述多棵邏輯查詢計(jì)劃樹(shù)劃分為多個(gè)查詢組，其中，每個(gè)查詢組中的邏輯查詢計(jì)劃樹(shù)之間具有下述關(guān)系：查詢間寫(xiě)讀依賴關(guān)系、操作符重疊關(guān)系或操作數(shù)重疊關(guān)系；

對(duì)所述每個(gè)查詢組內(nèi)的各邏輯查詢計(jì)劃樹(shù)進(jìn)行查詢間優(yōu)化；

根據(jù)優(yōu)化后的多棵邏輯查詢計(jì)劃樹(shù)生成對(duì)應(yīng)的多棵物理查詢計(jì)劃樹(shù)；

根據(jù)所述多棵物理查詢計(jì)劃樹(shù)執(zhí)行物理查詢，得到所述多條查詢語(yǔ)句的查詢結(jié)果。

結(jié)合本發(fā)明第一方面，在本發(fā)明第一方面的第一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述每棵邏輯查詢計(jì)劃樹(shù)的各操作符將所述多棵邏輯查詢計(jì)劃樹(shù)劃分為多個(gè)查詢組，包括：

根據(jù)所述每棵邏輯查詢計(jì)劃樹(shù)的各操作符和所述每棵邏輯查詢計(jì)劃樹(shù)的各操作符的各操作數(shù)的數(shù)據(jù)標(biāo)識(shí)，確定所述每棵邏輯查詢計(jì)劃樹(shù)的查詢間寫(xiě)讀依賴關(guān)系，將所有具有查詢間寫(xiě)讀依賴關(guān)系的邏輯查詢計(jì)劃樹(shù)劃分到第一分組中，將所有不具有查詢間寫(xiě)讀依賴關(guān)系的邏輯查詢計(jì)劃樹(shù)劃分到第二分組中；

根據(jù)所述第一分組中的每棵邏輯查詢計(jì)劃樹(shù)的查詢間寫(xiě)讀依賴關(guān)系將所述第一分組中的邏輯查詢計(jì)劃樹(shù)劃分為至少一個(gè)查詢組；