[發(fā)明專利]數(shù)據(jù)查詢方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410108733.7
• 申請(qǐng)日: 2014-03-21
• 公開(kāi)（公告）號(hào): CN103927331B
• 公開(kāi)（公告）日: 2017-03-22
• 發(fā)明（設(shè)計(jì)）人: 喻先兵
• 申請(qǐng)（專利權(quán)）人: 珠海多玩信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司11138
• 代理人: 江崇玉

1.一種數(shù)據(jù)查詢方法，其特征在于，用于與數(shù)據(jù)庫(kù)集群相連的并行數(shù)據(jù)倉(cāng)庫(kù)工具Hive中，所述方法包括：

獲取針對(duì)所述數(shù)據(jù)庫(kù)集群的HQL查詢語(yǔ)句，所述HQL查詢語(yǔ)句中指定的Hive表對(duì)應(yīng)于所述數(shù)據(jù)庫(kù)集群中關(guān)聯(lián)的至少兩張分區(qū)表；

根據(jù)所述HQL查詢語(yǔ)句生成MapReduce執(zhí)行計(jì)劃；

將所述MapReduce執(zhí)行計(jì)劃發(fā)送給并行計(jì)算架構(gòu)Hadoop；

接收所述Hadoop反饋的查詢結(jié)果，所述查詢結(jié)果是所述Hadoop根據(jù)所述MapReduce執(zhí)行計(jì)劃為所述數(shù)據(jù)庫(kù)集群中的每個(gè)分區(qū)表啟動(dòng)一個(gè)Mapper映射任務(wù)后，通過(guò)Reduce化簡(jiǎn)任務(wù)匯總每個(gè)Mapper映射任務(wù)的查詢結(jié)果得到的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述HQL查詢語(yǔ)句生成MapReduce執(zhí)行計(jì)劃，包括：

獲取所述HQL查詢語(yǔ)句所指定的Hive表在所述數(shù)據(jù)庫(kù)集群對(duì)應(yīng)的分區(qū)描述信息；

根據(jù)所述HQL查詢語(yǔ)句、所述Hive表和所述Hive表的分區(qū)描述信息生成所述MapReduce執(zhí)行計(jì)劃。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述HQL查詢語(yǔ)句所指定的Hive表在所述數(shù)據(jù)庫(kù)集群對(duì)應(yīng)的分區(qū)描述信息，包括：

預(yù)先存儲(chǔ)所述數(shù)據(jù)庫(kù)集群的連接信息；根據(jù)所述連接信息從所述數(shù)據(jù)庫(kù)集群獲取所述分區(qū)描述信息；

或，

獲取預(yù)先存儲(chǔ)的所述分區(qū)描述信息。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述HQL查詢語(yǔ)句、所述Hive表和所述Hive表的分區(qū)描述信息生成所述MapReduce執(zhí)行計(jì)劃，包括：

根據(jù)所述HQL查詢語(yǔ)句確定所述數(shù)據(jù)庫(kù)集群中每個(gè)分區(qū)表所對(duì)應(yīng)的查詢條件；

根據(jù)所述Hive表生成所述數(shù)據(jù)庫(kù)集群在所述Hadoop中的輸入格式；

將所述查詢條件、所述分區(qū)描述信息和所述數(shù)據(jù)庫(kù)集群在所述Hadoop中的輸入格式生成為所述MapReduce執(zhí)行計(jì)劃的內(nèi)容。

5.一種數(shù)據(jù)查詢方法，其特征在于，用于與數(shù)據(jù)庫(kù)集群相連的并行計(jì)算架構(gòu)Hadoop中，所述方法包括：

獲取MapReduce執(zhí)行計(jì)劃，所述MapReduce執(zhí)行計(jì)劃是并行數(shù)據(jù)倉(cāng)庫(kù)工具Hive根據(jù)針對(duì)所述數(shù)據(jù)庫(kù)集群的HQL查詢語(yǔ)句生成的，所述HQL查詢語(yǔ)句指定的Hive表對(duì)應(yīng)于所述數(shù)據(jù)庫(kù)集群中關(guān)聯(lián)的至少兩張分區(qū)表；

根據(jù)所述MapReduce執(zhí)行計(jì)劃為所述數(shù)據(jù)庫(kù)集群中的每個(gè)分區(qū)表啟動(dòng)一個(gè)Mapper映射任務(wù)進(jìn)行查詢；

通過(guò)Reduce化簡(jiǎn)任務(wù)匯總每個(gè)Mapper映射任務(wù)的查詢結(jié)果；

向所述Hive反饋匯總后的查詢結(jié)果。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述MapReduce執(zhí)行計(jì)劃為所述數(shù)據(jù)庫(kù)集群中的每個(gè)分區(qū)表啟動(dòng)一個(gè)Mapper映射任務(wù)，包括：

根據(jù)所述分區(qū)描述信息和所述數(shù)據(jù)庫(kù)集群在所述Hadoop中的輸入格式將所述數(shù)據(jù)庫(kù)集群的各個(gè)分區(qū)表轉(zhuǎn)換為各自對(duì)應(yīng)的輸入分片；

對(duì)于每個(gè)所述輸入分片，啟動(dòng)相應(yīng)的所述Mapper映射任務(wù)執(zhí)行相應(yīng)分區(qū)表的查詢。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述對(duì)于每個(gè)所述輸入分片，啟動(dòng)相應(yīng)的所述Mapper映射任務(wù)執(zhí)行相應(yīng)分區(qū)表的查詢，包括：

對(duì)于每個(gè)所述映射任務(wù)，根據(jù)所述Mapper映射任務(wù)所對(duì)應(yīng)的分區(qū)表所對(duì)應(yīng)的查詢條件生成分區(qū)查詢語(yǔ)句；

通過(guò)所述分區(qū)查詢語(yǔ)句在所述分區(qū)表對(duì)應(yīng)的輸入分片中讀取數(shù)據(jù)作為查詢結(jié)果。

8.一種數(shù)據(jù)查詢裝置，其特征在于，用于與數(shù)據(jù)庫(kù)集群相連的并行數(shù)據(jù)倉(cāng)庫(kù)工具Hive中，所述裝置包括：

語(yǔ)句接收模塊，用于獲取針對(duì)所述數(shù)據(jù)庫(kù)集群的HQL查詢語(yǔ)句，所述HQL查詢語(yǔ)句中指定的Hive表對(duì)應(yīng)于所述數(shù)據(jù)庫(kù)集群中關(guān)聯(lián)的至少兩張分區(qū)表；

計(jì)劃生成模塊，用于根據(jù)所述HQL查詢語(yǔ)句生成MapReduce執(zhí)行計(jì)劃；

計(jì)劃發(fā)送模塊，用于將所述MapReduce執(zhí)行計(jì)劃發(fā)送給并行計(jì)算架構(gòu)Hadoop；

結(jié)果接收模塊，用于接收所述Hadoop反饋的查詢結(jié)果，所述查詢結(jié)果是所述Hadoop根據(jù)所述MapReduce執(zhí)行計(jì)劃為所述數(shù)據(jù)庫(kù)集群中的每個(gè)分區(qū)表啟動(dòng)一個(gè)Mapper映射任務(wù)后，通過(guò)Reduce化簡(jiǎn)任務(wù)匯總每個(gè)Mapper映射任務(wù)的查詢結(jié)果得到的。