[發(fā)明專利]數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010141718.8
• 申請日: 2020-03-04
• 公開（公告）號: CN111414381B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 馮仰善
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/27;G06F9/445
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 李昂;張穎玲

本發(fā)明提供了一種數(shù)據(jù)處理方法，包括：將待處理作業(yè)數(shù)據(jù)提交至集群資源管理器；根據(jù)待處理作業(yè)數(shù)據(jù)觸發(fā)相應(yīng)的組件，將待處理作業(yè)數(shù)據(jù)中的面向?qū)ο蟮牟樵冋Z言指令轉(zhuǎn)換為與相應(yīng)的計算引擎相匹配的任務(wù)，并啟動計算引擎的作業(yè)管理器；將待處理作業(yè)數(shù)據(jù)對應(yīng)的資源申請請求向自研資源調(diào)度系統(tǒng)的作業(yè)管理器發(fā)送，對所接收的資源申請請求進(jìn)行轉(zhuǎn)換基于經(jīng)過轉(zhuǎn)換的資源申請請求，觸發(fā)相應(yīng)的任務(wù)執(zhí)行組件，并通過任務(wù)執(zhí)行組件對待處理作業(yè)數(shù)據(jù)進(jìn)行處理。本發(fā)明還提供了數(shù)據(jù)處理裝置、電子設(shè)備及存儲介質(zhì)。本發(fā)明能夠?qū)崿F(xiàn)不同框架結(jié)構(gòu)的計算引擎匹配相應(yīng)的自研資源調(diào)度系統(tǒng)，提升自研發(fā)的資源系統(tǒng)的數(shù)據(jù)處理效率，提升用戶的使用體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)，尤其涉及數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

相關(guān)技術(shù)中，開源集群計算框架(Spark)作為一個快速實用的開源集群計算框架，在海量的用戶數(shù)據(jù)處理領(lǐng)域有著廣泛的應(yīng)用，能夠高效地在一個計算節(jié)點到數(shù)千個計算節(jié)點之間伸縮計算，這一過程中，源集群計算框架(Spark)為了盡可能的獲取較大的靈活性，可以支持各種集群管理器(Cluster Manager)上運行，比如通用資源管理系統(tǒng)(YARN YetAnother Resource Negotiator)和開源分布式資源管理框架(Mesos)等等，可以構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。

但是相關(guān)技術(shù)中，僅支持將Hive on Spark框架運行在開源的資源調(diào)度平臺上，并沒有通用的將Hive on Spark框架運行在自研資源調(diào)度平臺上的方案，限制了Hive onSpark框架適配不同的使用環(huán)境， 導(dǎo)致自研發(fā)的資源調(diào)度系統(tǒng)的數(shù)據(jù)處理效率較差，影響了用戶的使用體驗。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，能夠?qū)崿F(xiàn)不同框架結(jié)構(gòu)的計算引擎適配不同的使用環(huán)境，提升自研發(fā)的資源系統(tǒng)的數(shù)據(jù)處理效率，提升用戶的使用體驗。

本發(fā)明實施例的技術(shù)方案是這樣實現(xiàn)的：

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法，所述方法包括：

接收待處理作業(yè)數(shù)據(jù)，并將所述待處理作業(yè)數(shù)據(jù)提交至集群資源管理器；

通過所述集群資源管理器，根據(jù)所述待處理作業(yè)數(shù)據(jù)觸發(fā)相應(yīng)的組件，將所述待處理作業(yè)數(shù)據(jù)中的面向?qū)ο蟮牟樵冋Z言指令轉(zhuǎn)換為與相應(yīng)的計算引擎相匹配的任務(wù)，并啟動所述計算引擎的作業(yè)管理器；

基于數(shù)據(jù)倉工具驅(qū)動器組件所提交的資源數(shù)量，將所述待處理作業(yè)數(shù)據(jù)對應(yīng)的資源申請請求向自研資源調(diào)度系統(tǒng)的作業(yè)管理器發(fā)送；

通過所述自研資源調(diào)度系統(tǒng)的作業(yè)管理器對所接收的資源申請請求進(jìn)行轉(zhuǎn)換，以實現(xiàn)所述資源申請請求與所述自研資源調(diào)度系統(tǒng)相匹配；

基于經(jīng)過轉(zhuǎn)換的所述資源申請請求，觸發(fā)相應(yīng)的任務(wù)執(zhí)行組件，并通過所述任務(wù)執(zhí)行組件對所述待處理作業(yè)數(shù)據(jù)進(jìn)行處理。

本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

信息傳輸模塊，用于接收待處理作業(yè)數(shù)據(jù)，并將所述待處理作業(yè)數(shù)據(jù)提交至集群資源管理器；

信息處理模塊，用于通過所述集群資源管理器，根據(jù)所述待處理作業(yè)數(shù)據(jù)觸發(fā)相應(yīng)的組件，將所述待處理作業(yè)數(shù)據(jù)中的面向?qū)ο蟮牟樵冋Z言指令轉(zhuǎn)換為與相應(yīng)的計算引擎相匹配的任務(wù)，并啟動所述計算引擎的作業(yè)管理器；

所述信息處理模塊，用于基于數(shù)據(jù)倉工具驅(qū)動器組件所提交的資源數(shù)量，將所述待處理作業(yè)數(shù)據(jù)對應(yīng)的資源申請請求向自研資源調(diào)度系統(tǒng)的作業(yè)管理器發(fā)送；

所述信息處理模塊，用于通過所述自研資源調(diào)度系統(tǒng)的作業(yè)管理器對所接收的資源申請請求進(jìn)行轉(zhuǎn)換，以實現(xiàn)所述資源申請請求與所述自研資源調(diào)度系統(tǒng)相匹配；