[發(fā)明專利]任務(wù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201711487077.6
• 申請日: 2017-12-30
• 公開（公告）號: CN110209645A
• 公開（公告）日: 2019-09-06
• 發(fā)明（設(shè)計(jì)）人: 楊名
• 申請（專利權(quán)）人: 中國移動通信集團(tuán)四川有限公司;中國移動通信集團(tuán)公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/2458
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 彭瓊

本發(fā)明實(shí)施例提供了一種任務(wù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)。其中，上述任務(wù)處理方法可以包括：接收Hive作業(yè)請求，根據(jù)上述Hive作業(yè)請求中的數(shù)據(jù)庫標(biāo)識和數(shù)據(jù)表標(biāo)識在Hive集群元數(shù)據(jù)表中查詢上述Hive作業(yè)請求所請求作業(yè)的目標(biāo)作業(yè)表數(shù)據(jù)量信息；根據(jù)上述目標(biāo)作業(yè)表數(shù)據(jù)量信息計(jì)算映射器mapper任務(wù)數(shù)量m和化簡器reducer任務(wù)數(shù)量r；依據(jù)上述mapper任務(wù)數(shù)量m和reducer任務(wù)數(shù)量r進(jìn)行調(diào)整上述Hive作業(yè)的參數(shù)配置并執(zhí)行mapper任務(wù)和reducer任務(wù)。本發(fā)明的技術(shù)方案能夠在運(yùn)行的作業(yè)數(shù)量級相差巨大，并且作業(yè)任務(wù)多變的情況下靈活且高效地實(shí)現(xiàn)Hive作業(yè)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫領(lǐng)域，特別是涉及任務(wù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

Hive是基于分布式系統(tǒng)基礎(chǔ)架構(gòu)的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表。Hive使用的數(shù)據(jù)一般是分布式存儲在HDFS(Hadoop DistributedFile System，分布式文件系統(tǒng))中的，其作業(yè)高度依賴于系統(tǒng)集群中的MapReduce(映射化簡)組件，Hive作業(yè)也是通過編譯器解析查詢語句，最終生成執(zhí)行計(jì)劃調(diào)用MapReduce執(zhí)行，數(shù)據(jù)量龐大，執(zhí)行延時通常較高。

在進(jìn)行數(shù)據(jù)存儲時，Hive定義了簡單的類SQL(Structured Query Language，結(jié)構(gòu)化查詢語言)的查詢語言，稱為HQL，它允許熟悉SQL的用戶查詢數(shù)據(jù)。同時，這個語言也允許熟悉MapReduce開發(fā)者開發(fā)自定義的mapper(映射器)和reducer(化簡器)來處理內(nèi)建的mapper和reducer無法完成的復(fù)雜的分析工作。

當(dāng)Hive在處理作業(yè)任務(wù)時，調(diào)用Mapreduce進(jìn)程來進(jìn)行作業(yè)，而Mapreduce作業(yè)的主要過程是mapper及reducer階段，兩個階段所使用的mapper數(shù)及reducer數(shù)將極大的影響整個作業(yè)的執(zhí)行效率。Hive通常會有默認(rèn)的參數(shù)配置文件來決定一個任務(wù)默認(rèn)配置所需的mapper及reducer數(shù)量。但當(dāng)Hive集群中存在多重作業(yè)調(diào)度，且作業(yè)使用數(shù)據(jù)量及計(jì)算量偏差很大時，默認(rèn)配置的mapper及reducer數(shù)量將無法滿足提升運(yùn)行性能的要求。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種任務(wù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，能夠在運(yùn)行的作業(yè)數(shù)量級相差巨大，并且作業(yè)任務(wù)多變的情況下靈活且高效地實(shí)現(xiàn)Hive作業(yè)。

為達(dá)上述目的，第一方面，本發(fā)明實(shí)施例提供了一種任務(wù)處理方法，可以包括：

接收Hive作業(yè)請求，根據(jù)上述Hive作業(yè)請求中的數(shù)據(jù)庫標(biāo)識和數(shù)據(jù)表標(biāo)識在Hive集群元數(shù)據(jù)表中查詢上述Hive作業(yè)請求所請求作業(yè)的目標(biāo)作業(yè)表數(shù)據(jù)量信息；

根據(jù)上述目標(biāo)作業(yè)表數(shù)據(jù)量信息計(jì)算映射器mapper任務(wù)數(shù)量m和化簡器reducer任務(wù)數(shù)量r；

依據(jù)上述mapper任務(wù)數(shù)量m和reducer任務(wù)數(shù)量r進(jìn)行調(diào)整上述Hive作業(yè)的參數(shù)配置并執(zhí)行mapper任務(wù)和reducer任務(wù)。

第一方面提供的任務(wù)處理方法，通過在Hive集群元數(shù)據(jù)表中擴(kuò)充能夠體現(xiàn)數(shù)據(jù)量的數(shù)據(jù)量信息部分，能夠使任務(wù)處理系統(tǒng)在接收到Hive作業(yè)請求后，根據(jù)上述Hive作業(yè)請求中的數(shù)據(jù)庫標(biāo)識和數(shù)據(jù)表標(biāo)識在Hive集群元數(shù)據(jù)表中新擴(kuò)充的能夠體現(xiàn)數(shù)據(jù)量的數(shù)據(jù)量信息部分查詢上述Hive作業(yè)請求所請求作業(yè)的目標(biāo)作業(yè)表數(shù)據(jù)量信息，并根據(jù)獲取到的目標(biāo)作業(yè)表數(shù)據(jù)量信息能夠?qū)δJ(rèn)配置所需的mapper及reducer數(shù)量動態(tài)的進(jìn)行調(diào)整，使得任務(wù)處理系統(tǒng)能夠在運(yùn)行的作業(yè)數(shù)量級相差巨大，并且作業(yè)任務(wù)多變的情況下靈活且高效地實(shí)現(xiàn)Hive作業(yè)。

在第一方面的一種可能的實(shí)現(xiàn)方式中，上述目標(biāo)作業(yè)表數(shù)據(jù)量信息包括：表記錄數(shù)和表數(shù)據(jù)量大小。