[發(fā)明專利]基于SPARK的開發(fā)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211534922.1
• 申請(qǐng)日: 2022-11-29
• 公開（公告）號(hào): CN116088799A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 曹勇
• 申請(qǐng)（專利權(quán)）人: 中國(guó)銀行股份有限公司
• 主分類號(hào): G06F8/20
• 分類號(hào): G06F8/20;G06F16/25;G06F16/245
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 呂俊剛;安然

本發(fā)明提供了一種基于SPARK的開發(fā)系統(tǒng)及方法，可用于分布式技術(shù)領(lǐng)域，該系統(tǒng)包括：數(shù)據(jù)訪問層，用于讀取貼源層的數(shù)據(jù)集；業(yè)務(wù)處理層，用于從數(shù)據(jù)訪問層獲取到數(shù)據(jù)集后，按照預(yù)設(shè)數(shù)據(jù)處理要求進(jìn)行業(yè)務(wù)邏輯加工，獲得統(tǒng)計(jì)結(jié)果；應(yīng)用層，用于從業(yè)務(wù)處理層獲得統(tǒng)計(jì)結(jié)果，所述應(yīng)用層包括SPARK應(yīng)用啟動(dòng)類。本發(fā)明可以實(shí)現(xiàn)高效的基于SPARK的開發(fā)。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式技術(shù)領(lǐng)域，尤其涉及一種基于SPARK的開發(fā)系統(tǒng)及方法。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)在各行各業(yè)的廣泛應(yīng)用，作為離線大數(shù)據(jù)技術(shù)的事實(shí)標(biāo)準(zhǔn)的SPARK應(yīng)用越來越多。如何讓SPARK應(yīng)用開發(fā)的新手能夠在短時(shí)間內(nèi)快速完成應(yīng)用的開發(fā)，搭建基于SPARK技術(shù)的開發(fā)框架就具有極強(qiáng)的現(xiàn)實(shí)意義，可以達(dá)到對(duì)內(nèi)規(guī)避新人常見錯(cuò)誤、提升開發(fā)速度、沉淀過往開發(fā)經(jīng)驗(yàn)的效果；對(duì)外能夠適應(yīng)不斷變化的新業(yè)務(wù)新需求，提高生產(chǎn)開發(fā)效率。而目前缺乏一種高效的基于SPARK的開發(fā)方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提出一種基于SPARK的開發(fā)系統(tǒng)，用以實(shí)現(xiàn)高效的基于SPARK的開發(fā)，該系統(tǒng)包括：

數(shù)據(jù)訪問層，用于讀取貼源層的數(shù)據(jù)集；

業(yè)務(wù)處理層，用于從數(shù)據(jù)訪問層獲取到數(shù)據(jù)集后，按照預(yù)設(shè)數(shù)據(jù)處理要求進(jìn)行業(yè)務(wù)邏輯加工，獲得統(tǒng)計(jì)結(jié)果；

應(yīng)用層，用于從業(yè)務(wù)處理層獲得統(tǒng)計(jì)結(jié)果，所述應(yīng)用層包括SPARK應(yīng)用啟動(dòng)類。

本發(fā)明實(shí)施例提出一種基于SPARK的開發(fā)方法，應(yīng)用于前述基于SPARK的開發(fā)系統(tǒng)，用以實(shí)現(xiàn)高效的基于SPARK的開發(fā)，該方法包括：

采用數(shù)據(jù)訪問層讀取貼源層的數(shù)據(jù)集；

采用業(yè)務(wù)處理層從數(shù)據(jù)訪問層獲取到數(shù)據(jù)集后，按照預(yù)設(shè)數(shù)據(jù)處理要求進(jìn)行業(yè)務(wù)邏輯加工，獲得統(tǒng)計(jì)結(jié)果；

采用應(yīng)用層從業(yè)務(wù)處理層獲得統(tǒng)計(jì)結(jié)果，所述應(yīng)用層包括SPARK應(yīng)用啟動(dòng)類。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于SPARK的開發(fā)方法。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于SPARK的開發(fā)方法。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于SPARK的開發(fā)方法。

在本發(fā)明實(shí)施例中，數(shù)據(jù)訪問層，用于讀取貼源層的數(shù)據(jù)集；業(yè)務(wù)處理層，用于從數(shù)據(jù)訪問層獲取到數(shù)據(jù)集后，按照預(yù)設(shè)數(shù)據(jù)處理要求進(jìn)行業(yè)務(wù)邏輯加工，獲得統(tǒng)計(jì)結(jié)果；應(yīng)用層，用于從業(yè)務(wù)處理層獲得統(tǒng)計(jì)結(jié)果，所述應(yīng)用層包括SPARK應(yīng)用啟動(dòng)類。在上述過程中，將開發(fā)系統(tǒng)拆分為數(shù)據(jù)訪問層、業(yè)務(wù)處理層和應(yīng)用層，大大提升了開發(fā)系統(tǒng)的可擴(kuò)展性，將業(yè)務(wù)變化引起的代碼改動(dòng)盡可能的限制在某一層之內(nèi)，減少對(duì)其他層的代碼影響，從而提升了開發(fā)效率，更便于測(cè)試和評(píng)估變更范圍。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。在附圖中：

圖1為本發(fā)明實(shí)施例中基于SPARK的開發(fā)系統(tǒng)的示意圖；

圖2為本發(fā)明實(shí)施例中基于SPARK的開發(fā)系統(tǒng)中各個(gè)層的交互示意圖；

圖3為本發(fā)明實(shí)施例中基于SPARK的開發(fā)方法的流程圖一；

圖4為本發(fā)明實(shí)施例中基于SPARK的開發(fā)方法的流程圖二；