[發(fā)明專利]一種計(jì)算HiveSql執(zhí)行進(jìn)度的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110439353.1
• 申請(qǐng)日: 2021-04-23
• 公開(kāi)（公告）號(hào): CN113138810A
• 公開(kāi)（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 童孝天
• 申請(qǐng)（專利權(quán)）人: 上海中通吉網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F9/448
• 分類號(hào): G06F9/448;G06F9/48
• 代理公司: 北京細(xì)軟智谷知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 葛鐘

1.一種計(jì)算HiveSql執(zhí)行進(jìn)度的方法，其特征在于，所述方法包括：

通過(guò)HiveSql將任務(wù)執(zhí)行計(jì)劃轉(zhuǎn)換成MapReduce任務(wù)，獲取所述MapReduce任務(wù)總數(shù)量；

獲取已生成的所有MapReduce任務(wù)總量，按照預(yù)設(shè)規(guī)則將所述已生成的MapReduce進(jìn)行排序，得到所述已生成MapReduce任務(wù)排序結(jié)果；

根據(jù)所述任務(wù)排序結(jié)果，得到已完成的MapReduce任務(wù)的序號(hào)；

獲取當(dāng)前執(zhí)行的MapReduce任務(wù)進(jìn)度；

計(jì)算已完成的MapReduce任務(wù)的總量在所述MapReduce任務(wù)總數(shù)量中的權(quán)重，得到已完成任務(wù)的權(quán)重結(jié)果；

將所述權(quán)重結(jié)果與所述當(dāng)前執(zhí)行的MapReduce任務(wù)進(jìn)度相加，得到得到當(dāng)前HiveSql的執(zhí)行進(jìn)度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取已生成的所有MapReduce任務(wù)總量，按照預(yù)設(shè)規(guī)則將所述已生成的MapReduce進(jìn)行排序，包括：

通過(guò)資源調(diào)度管理器查詢已生成的所有MapReduce任務(wù)總量。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)規(guī)則為按照時(shí)間順序進(jìn)行排序。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)規(guī)則為按照資源調(diào)度管理器為所述MapReduce任務(wù)分配的ID進(jìn)行排序，所述ID為用戶時(shí)間戳加字符串。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述已完成的MapReduce任務(wù)的序號(hào)，為所述排序中的最后一個(gè)任務(wù)序號(hào)的前一個(gè)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取當(dāng)前執(zhí)行的MapReduce的任務(wù)進(jìn)度，包括：

通過(guò)資源調(diào)度管理器查詢獲取當(dāng)前執(zhí)行的MapReduce的任務(wù)進(jìn)度。