[發(fā)明專利]一種數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710804507.6
• 申請(qǐng)日: 2017-09-08
• 公開（公告）號(hào): CN107688659A
• 公開（公告）日: 2018-02-13
• 發(fā)明（設(shè)計(jì)）人: 陳越晨
• 申請(qǐng)（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F9/44
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司11227
• 代理人: 王寶筠

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，特別涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)

隨著云計(jì)算和大數(shù)據(jù)技術(shù)的發(fā)展，各種大數(shù)據(jù)計(jì)算引擎層出不窮，如專攻離線處理的MapReduce，專攻流計(jì)算處理的Storm，集離線計(jì)算與流計(jì)算于一身的Spark和Flink等。

其中，各種大數(shù)據(jù)計(jì)算引擎各有利弊，導(dǎo)致一個(gè)組織內(nèi)部存在各種大數(shù)據(jù)計(jì)算引擎共存的業(yè)務(wù)場(chǎng)景，不同的業(yè)務(wù)場(chǎng)景需要使用不同的大數(shù)據(jù)計(jì)算引擎。然而，不同的大數(shù)據(jù)計(jì)算引擎的數(shù)據(jù)處理方式不同，導(dǎo)致處理同一個(gè)數(shù)據(jù)處理任務(wù)時(shí)，需要維護(hù)多個(gè)大數(shù)據(jù)計(jì)算引擎的數(shù)據(jù)處理方式，維護(hù)工作量大。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)處理方法及裝置，以達(dá)到減少維護(hù)工作量的目的，技術(shù)方案如下：

一種數(shù)據(jù)處理方法，包括：

接收數(shù)據(jù)處理任務(wù)的基于JSON配置的統(tǒng)一數(shù)據(jù)處理文件；

解析所述基于JSON配置的統(tǒng)一數(shù)據(jù)處理文件，得到統(tǒng)一數(shù)據(jù)處理方式，并選定所述數(shù)據(jù)處理任務(wù)的計(jì)算引擎類型；

發(fā)送所述統(tǒng)一數(shù)據(jù)處理方式和所述數(shù)據(jù)處理任務(wù)的計(jì)算引擎類型至集群服務(wù)器，以使所述集群服務(wù)器利用所述數(shù)據(jù)處理任務(wù)的計(jì)算引擎類型對(duì)應(yīng)的計(jì)算引擎，按照所述統(tǒng)一數(shù)據(jù)處理方式執(zhí)行所述數(shù)據(jù)處理任務(wù)。

優(yōu)選的，所述基于JSON配置的統(tǒng)一數(shù)據(jù)處理文件包括：

定義數(shù)據(jù)源的代碼、用于實(shí)現(xiàn)將所述數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)映射為Schema格式數(shù)據(jù)的代碼、用于實(shí)現(xiàn)對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理的邏輯代碼和對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理后得到的數(shù)據(jù)的輸出邏輯代碼。

優(yōu)選的，解析所述基于JSON配置的統(tǒng)一數(shù)據(jù)處理文件，得到統(tǒng)一數(shù)據(jù)處理方式，包括：

解析所述定義數(shù)據(jù)源的代碼、所述用于實(shí)現(xiàn)將所述數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)映射為Schema格式數(shù)據(jù)的代碼、所述用于實(shí)現(xiàn)對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理的邏輯代碼和對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理后得到的數(shù)據(jù)的輸出邏輯代碼，得到所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)源、所述數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)映射為Schema格式的數(shù)據(jù)、對(duì)所述Schema格式的數(shù)據(jù)進(jìn)行SQL處理的邏輯和對(duì)所述Schema格式的數(shù)據(jù)進(jìn)行SQL處理后得到的數(shù)據(jù)的輸出邏輯。

優(yōu)選的，所述基于JSON配置的統(tǒng)一數(shù)據(jù)處理文件的生成過程，包括：

利用JSON語言編寫定義數(shù)據(jù)源的代碼；

利用JSON語言編寫用于實(shí)現(xiàn)將所述數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)映射為Schema格式數(shù)據(jù)的代碼；

利用JSON語言編寫用于實(shí)現(xiàn)對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理的邏輯代碼；

利用JSON語言編寫對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理后得到的數(shù)據(jù)的輸出邏輯代碼。

一種數(shù)據(jù)處理裝置，包括：

接收模塊，用于接收數(shù)據(jù)處理任務(wù)的基于JSON配置的統(tǒng)一數(shù)據(jù)處理文件；

解析模塊，用于解析所述基于JSON配置的統(tǒng)一數(shù)據(jù)處理文件，得到統(tǒng)一數(shù)據(jù)處理方式；

選定模塊，用于選定所述數(shù)據(jù)處理任務(wù)的計(jì)算引擎類型；

發(fā)送模塊，用于發(fā)送所述統(tǒng)一數(shù)據(jù)處理方式和所述數(shù)據(jù)處理任務(wù)的計(jì)算引擎類型至集群服務(wù)器，以使所述集群服務(wù)器利用所述數(shù)據(jù)處理任務(wù)的計(jì)算引擎類型對(duì)應(yīng)的計(jì)算引擎，按照所述統(tǒng)一數(shù)據(jù)處理方式執(zhí)行所述數(shù)據(jù)處理任務(wù)。

優(yōu)選的，所述基于JSON配置的統(tǒng)一數(shù)據(jù)處理文件包括：

定義數(shù)據(jù)源的代碼、用于實(shí)現(xiàn)將所述數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)映射為Schema格式數(shù)據(jù)的代碼、用于實(shí)現(xiàn)對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理的邏輯代碼和對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理后得到的數(shù)據(jù)的輸出邏輯代碼。

優(yōu)選的，所述解析模塊包括：

解析單元，用于解析所述定義數(shù)據(jù)源的代碼、所述用于實(shí)現(xiàn)將所述數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)映射為Schema格式數(shù)據(jù)的代碼、所述用于實(shí)現(xiàn)對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理的邏輯代碼和對(duì)所述Schema格式數(shù)據(jù)進(jìn)行SQL處理后得到的數(shù)據(jù)的輸出邏輯代碼，得到所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)源、所述數(shù)據(jù)源對(duì)應(yīng)的數(shù)據(jù)映射為Schema格式的數(shù)據(jù)、對(duì)所述Schema格式的數(shù)據(jù)進(jìn)行SQL處理的邏輯和對(duì)所述Schema格式的數(shù)據(jù)進(jìn)行SQL處理后得到的數(shù)據(jù)的輸出邏輯。