[發(fā)明專利]一種大數(shù)據(jù)分布式調(diào)度分析方法、系統(tǒng)裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710600317.2
• 申請(qǐng)日: 2017-07-21
• 公開（公告）號(hào): CN107506381A
• 公開（公告）日: 2017-12-22
• 發(fā)明（設(shè)計(jì)）人: 李威;范會(huì)善;蘇建標(biāo);王澤龍;吳仰波
• 申請(qǐng)（專利權(quán)）人: 中國建設(shè)銀行股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司44202
• 代理人: 溫旭,郝傳鑫

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，更為具體而言，涉及一種大數(shù)據(jù)分布式調(diào)度分析方法、系統(tǒng)裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著網(wǎng)絡(luò)及電子商務(wù)的普及，大數(shù)據(jù)的調(diào)度處理及數(shù)據(jù)分析變得越發(fā)復(fù)雜。對(duì)于實(shí)際生產(chǎn)中的大數(shù)據(jù)處理，由于現(xiàn)實(shí)數(shù)據(jù)的復(fù)雜性、多樣性，必不可少的，多種技術(shù)結(jié)合(分布式平臺(tái)技術(shù)Hadoop、分布式數(shù)據(jù)庫技術(shù)GreenPlum)、多種語言公用(常用如Java、Perl、Python、Bash)乃至分布式處理都是需要的。

通常來說，現(xiàn)有的ETL(Extract-Transform-Load的縮寫，用來描述將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程)系統(tǒng)主要用于構(gòu)建數(shù)據(jù)倉庫(DW)，其最主要的關(guān)注意義在于實(shí)現(xiàn)傳統(tǒng)數(shù)據(jù)處理的分離，以便規(guī)定數(shù)據(jù)處理的規(guī)范化、提高數(shù)據(jù)集成完備性，缺少對(duì)現(xiàn)有的大數(shù)據(jù)處理的技術(shù)支持。

當(dāng)前，對(duì)于大數(shù)據(jù)量的數(shù)據(jù)處理，都會(huì)遇到效率上和穩(wěn)定性上的瓶頸，以及因?yàn)檫@些瓶頸而無法實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)性，存在調(diào)度能力差且處理效率低的問題。并且，由于大數(shù)據(jù)項(xiàng)目的多樣性和規(guī)模性，存在如下技術(shù)問題：現(xiàn)有的ETL系統(tǒng)并沒有一種用于大數(shù)據(jù)技術(shù)的主流語言規(guī)范和函數(shù)庫，沒法支持使用各種語言的開發(fā)人員同時(shí)參與項(xiàng)目，導(dǎo)致大數(shù)據(jù)分析處理效率低且規(guī)范性差等難以克服的問題。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明實(shí)施方式提供了一種大數(shù)據(jù)分布式調(diào)度分析方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)，通過采用分布式調(diào)度方式和成熟的作業(yè)框架，可有效解決當(dāng)前大數(shù)據(jù)調(diào)度能力差、處理效率低以及大數(shù)據(jù)分析處理效率低且規(guī)范性差等難以克服的問題。

具體地，本發(fā)明實(shí)施方式提供了一種大數(shù)據(jù)分布式調(diào)度分析方法，其包括：

調(diào)度服務(wù)端模塊依次獲取分布式作業(yè)服務(wù)器的使用狀態(tài)信息，根據(jù)所述使用狀態(tài)信息，選取符合資源空閑標(biāo)準(zhǔn)的所述作業(yè)服務(wù)器運(yùn)行作業(yè)程序；

大數(shù)據(jù)分析模塊通過采用組件化的作業(yè)框架，對(duì)所述運(yùn)行作業(yè)程序后的數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析處理。

相應(yīng)地，本發(fā)明實(shí)施方式還提供了一種大數(shù)據(jù)分布式調(diào)度分析系統(tǒng)，其包括：

調(diào)度服務(wù)端模塊，用于依次獲取分布式作業(yè)服務(wù)器的使用狀態(tài)信息，根據(jù)所述使用狀態(tài)信息，選取符合資源空閑標(biāo)準(zhǔn)的所述作業(yè)服務(wù)器運(yùn)行作業(yè)程序；

大數(shù)據(jù)分析模塊，用于通過采用組件化的作業(yè)框架，對(duì)所述運(yùn)行作業(yè)程序后的數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析處理。

此外，本發(fā)明實(shí)施方式還提供一種大數(shù)據(jù)分布式調(diào)度分析裝置，包括存儲(chǔ)器和處理器，其中，所述存儲(chǔ)器用于存儲(chǔ)一條或多條供所述處理器調(diào)用執(zhí)行的計(jì)算機(jī)指令，所述處理器通過執(zhí)行所述計(jì)算機(jī)指令實(shí)現(xiàn)如上所述的方法。

此外，本發(fā)明實(shí)施方式還提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有程序，所述程序在執(zhí)行時(shí)實(shí)現(xiàn)如前所述的方法。

通過采用本發(fā)明實(shí)施方式具有下述有益效果：通過采用分布式調(diào)度方式和成熟的作業(yè)框架，可有效提高基于大數(shù)據(jù)的作業(yè)處理性能和數(shù)據(jù)分析效率。

附圖說明

圖1是根據(jù)本發(fā)明實(shí)施方式的一種大數(shù)據(jù)分布式調(diào)度分析方法的流程示意圖；

圖2是本發(fā)明實(shí)施方式中所述步驟S2的部分流程示意圖；

圖3是根據(jù)本發(fā)明實(shí)施方式的一種大數(shù)據(jù)分布式調(diào)度分析系統(tǒng)的架構(gòu)圖。

具體實(shí)施方式

為了便于理解本發(fā)明技術(shù)方案的各個(gè)方面、特征以及優(yōu)點(diǎn)，下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行具體描述。應(yīng)當(dāng)理解，下述的各種實(shí)施方式只用于舉例說明，而非用于限制本發(fā)明的保護(hù)范圍。

首先對(duì)根據(jù)本發(fā)明可能涉及到的名稱或術(shù)語進(jìn)行解釋。

大數(shù)據(jù)分析：是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。常用的技術(shù)如：分布式平臺(tái)Apache-Hadoop(以及基于Hadoop的Hive、Pig、HBase等)、分布式數(shù)據(jù)庫GreenPlum(比如EMC-GreenPlum)。

ETL：是英文Extract-Transform-Load的縮寫，用來描述將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程。ETL一詞較常用在數(shù)據(jù)倉庫，但其對(duì)象并不限于數(shù)據(jù)倉庫。

作業(yè)：應(yīng)用分析處理的單位，為某一目標(biāo)結(jié)果對(duì)數(shù)據(jù)進(jìn)行處理的過程。本文中可代指ETL處理子過程。

分布式系統(tǒng)：支持分布式處理的軟件系統(tǒng),是在由通信網(wǎng)絡(luò)互聯(lián)的多處理機(jī)體系結(jié)構(gòu)上執(zhí)行任務(wù)的系統(tǒng)。