[發(fā)明專利]一種計(jì)算HiveSql執(zhí)行進(jìn)度的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110439353.1
• 申請(qǐng)日: 2021-04-23
• 公開(kāi)（公告）號(hào): CN113138810A
• 公開(kāi)（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 童孝天
• 申請(qǐng)（專利權(quán)）人: 上海中通吉網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F9/448
• 分類號(hào): G06F9/448;G06F9/48
• 代理公司: 北京細(xì)軟智谷知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 葛鐘

本申請(qǐng)涉及一種計(jì)算HiveSql執(zhí)行進(jìn)度的方法，屬于計(jì)算機(jī)技術(shù)領(lǐng)域，本申請(qǐng)包括：通過(guò)HiveSql將任務(wù)執(zhí)行計(jì)劃轉(zhuǎn)換成MapReduce任務(wù)，獲取MapReduce任務(wù)總數(shù)量；獲取已生成的所有MapReduce任務(wù)總量，按照預(yù)設(shè)規(guī)則將已生成的MapReduce進(jìn)行排序；根據(jù)排序得到已完成的MapReduce任務(wù)的序號(hào)；獲取當(dāng)前執(zhí)行的MapReduce的任務(wù)進(jìn)度；計(jì)算已完成的MapReduce任務(wù)的總量在MapReduce的任務(wù)總數(shù)量中的權(quán)重，得到已完成任務(wù)的權(quán)重結(jié)果；將權(quán)重結(jié)果與當(dāng)前執(zhí)行的MapReduce的任務(wù)進(jìn)度相加，得到得到當(dāng)前HiveSql的執(zhí)行進(jìn)度，突破原有HiveSql無(wú)法反應(yīng)執(zhí)行進(jìn)度的問(wèn)題，以巧妙的方法準(zhǔn)確計(jì)算出HiveSql的執(zhí)行進(jìn)度。

技術(shù)領(lǐng)域

本申請(qǐng)屬于計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種計(jì)算HiveSql執(zhí)行進(jìn)度的方法。

背景技術(shù)

Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，用來(lái)進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)化、加載，這是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。Hive數(shù)據(jù)倉(cāng)庫(kù)工具能將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供SQL查詢功能，能將SQL語(yǔ)句轉(zhuǎn)變成MapReduce任務(wù)來(lái)執(zhí)行。Hive的優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過(guò)類似SQL語(yǔ)句實(shí)現(xiàn)快速M(fèi)apReduce統(tǒng)計(jì)，使MapReduce變得更加簡(jiǎn)單，而不必開(kāi)發(fā)專門(mén)的MapReduce應(yīng)用程序。Hive十分適合對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行統(tǒng)計(jì)分析。

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。概念Map(映射)和Reduce(歸約)，是它們的主要思想,當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map(映射)函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce(歸約)函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。然而，現(xiàn)有技術(shù)只能看到單個(gè)Mapreduce任務(wù)的執(zhí)行進(jìn)度，不能明確知道一條HiveSql執(zhí)行的進(jìn)度情況。

發(fā)明內(nèi)容

為至少在一定程度上克服相關(guān)技術(shù)中存在的問(wèn)題，本申請(qǐng)?zhí)峁┞圆“柑卣鞣诸愄幚矸椒ā⒀b置及終端，有助于快速準(zhǔn)確得到慢病分級(jí)診療的輔助決策信息。

為實(shí)現(xiàn)以上目的，本申請(qǐng)采用如下技術(shù)方案：

一種計(jì)算HiveSql執(zhí)行進(jìn)度的方法，所述方法包括：

通過(guò)HiveSql將任務(wù)執(zhí)行計(jì)劃轉(zhuǎn)換成MapReduce任務(wù)，獲取所述MapReduce任務(wù)總數(shù)量；

獲取已生成的所有MapReduce任務(wù)總量，按照預(yù)設(shè)規(guī)則將所述已生成的MapReduce任務(wù)進(jìn)行排序，得到所述已生成MapReduce任務(wù)排序結(jié)果；

根據(jù)所述任務(wù)排序結(jié)果，得到已完成的MapReduce任務(wù)的序號(hào)；

獲取當(dāng)前執(zhí)行的MapReduce的任務(wù)進(jìn)度；

計(jì)算已完成的MapReduce任務(wù)的總量在所述MapReduce任務(wù)總數(shù)量中的權(quán)重，得到已完成任務(wù)的權(quán)重結(jié)果；

將所述權(quán)重結(jié)果與所述當(dāng)前執(zhí)行的MapReduce任務(wù)進(jìn)度相加，得到得到當(dāng)前HiveSql的執(zhí)行進(jìn)度。

進(jìn)一步地，獲取已生成的所有MapReduce任務(wù)總量，按照預(yù)設(shè)規(guī)則將所述已生成的MapReduce進(jìn)行排序，包括：

通過(guò)資源調(diào)度管理器查詢已生成的所有MapReduce任務(wù)總量。

進(jìn)一步地，所述預(yù)設(shè)規(guī)則為按照時(shí)間順序進(jìn)行排序。

進(jìn)一步地，所述預(yù)設(shè)規(guī)則為按照資源調(diào)度管理器為所述MapReduce任務(wù)分配的ID進(jìn)行排序，所述ID為用戶時(shí)間戳加字符串。

進(jìn)一步地，所述已完成的MapReduce任務(wù)的序號(hào)，為所述排序中的最后一個(gè)任務(wù)序號(hào)的前一個(gè)。

進(jìn)一步地，所述獲取當(dāng)前執(zhí)行的MapReduce的任務(wù)進(jìn)度，包括：