[發(fā)明專利]一種開發(fā)運(yùn)行大數(shù)據(jù)業(yè)務(wù)應(yīng)用程序的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711297398.X
• 申請(qǐng)日: 2017-12-08
• 公開（公告）號(hào): CN108182053A
• 公開（公告）日: 2018-06-19
• 發(fā)明（設(shè)計(jì)）人: 黃超;張祺君;陳日強(qiáng);李少丁;陳兆志
• 申請(qǐng)（專利權(quán)）人: 北京云星宇交通科技股份有限公司;北京博宇通達(dá)科技有限公司
• 主分類號(hào): G06F8/20
• 分類號(hào): G06F8/20;G06F8/71
• 代理公司: 北京工信聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11266
• 代理人: 郭一斐

本發(fā)明提供一種開發(fā)運(yùn)行大數(shù)據(jù)業(yè)務(wù)應(yīng)用程序的系統(tǒng)和方法，所述系統(tǒng)包括：數(shù)據(jù)處理流程定制單元，其用于根據(jù)大數(shù)據(jù)業(yè)務(wù)應(yīng)用的需求，按照數(shù)據(jù)處理流程的每個(gè)節(jié)點(diǎn)的可定制的流程項(xiàng)對(duì)數(shù)據(jù)處理流程進(jìn)行配置以生成數(shù)據(jù)業(yè)務(wù)應(yīng)用程序；數(shù)據(jù)業(yè)務(wù)應(yīng)用程序提交單元，其用于將數(shù)據(jù)處理流程定制單元生成的數(shù)據(jù)業(yè)務(wù)應(yīng)用程序上傳至大數(shù)據(jù)集群，使用大數(shù)據(jù)集群提供的運(yùn)行功能啟動(dòng)所述數(shù)據(jù)業(yè)務(wù)應(yīng)用程序；數(shù)據(jù)業(yè)務(wù)應(yīng)用程序監(jiān)控單元，其用于在大數(shù)據(jù)集群運(yùn)行數(shù)據(jù)業(yè)務(wù)應(yīng)用程序過程中，監(jiān)控所述數(shù)據(jù)業(yè)務(wù)應(yīng)用程序的運(yùn)行情況，并及時(shí)回饋給用戶。

技術(shù)領(lǐng)域

本發(fā)明涉及應(yīng)用程序開發(fā)領(lǐng)域，并且更具體地，涉及一種開發(fā)運(yùn)行大數(shù)據(jù)業(yè)務(wù)應(yīng)用程序的系統(tǒng)和方法。

背景技術(shù)

目前，各公司、單位通常基于開源或商業(yè)的大數(shù)據(jù)基礎(chǔ)平臺(tái)進(jìn)行大數(shù)據(jù)應(yīng)用開發(fā)，這些開源或商業(yè)的大數(shù)據(jù)基礎(chǔ)平臺(tái)通常對(duì)Hadoop、Spark體系平臺(tái)進(jìn)行了定制、封裝和集成。在此基礎(chǔ)上進(jìn)行大數(shù)據(jù)開發(fā)時(shí)，通常在本地完成程序的開發(fā)和編譯，隨后上傳到上述平臺(tái)運(yùn)行。此種方式中的所有運(yùn)行、調(diào)度等工作都需要自寫代碼完成，其大致流程如下：首先，開發(fā)人員在本地計(jì)算機(jī)進(jìn)行大數(shù)據(jù)應(yīng)用開發(fā)，并編譯成在大數(shù)據(jù)平臺(tái)運(yùn)行的目標(biāo)文件；然后操作人員將目標(biāo)文件上傳到大數(shù)據(jù)平臺(tái)，并使用命令行提交到大數(shù)據(jù)平臺(tái)運(yùn)行；當(dāng)運(yùn)行成功結(jié)束或失敗后，操作人員檢查運(yùn)行結(jié)果、日志。如運(yùn)行結(jié)果與預(yù)想的不一致，則開發(fā)人員還需要再修改、編譯代碼。然后再重復(fù)上述過程。但上述流程存在如下問題：

1.大數(shù)據(jù)應(yīng)用門檻高。大數(shù)據(jù)運(yùn)行Hadoop、Spark框架包含程序組件有上百個(gè)之多，開發(fā)人員、運(yùn)維人員學(xué)習(xí)這些框架的曲線非常陡峭。另外，人才市場(chǎng)也缺少具有這些技能的開發(fā)人員與運(yùn)維人員。基于以上原因，企業(yè)要在現(xiàn)有大數(shù)據(jù)平臺(tái)上開展大數(shù)據(jù)應(yīng)用，門檻非常高。

2.生產(chǎn)效率低下。從上面描述的生產(chǎn)過程可知，在現(xiàn)有大數(shù)據(jù)平臺(tái)上開展大數(shù)據(jù)應(yīng)用的幾個(gè)步驟是完全割裂的。在實(shí)際的工作中往往需要反復(fù)執(zhí)行上述步驟，割裂的步驟導(dǎo)致低下的生產(chǎn)效率。

3.生產(chǎn)成本高。開展大數(shù)據(jù)應(yīng)用的高門檻、生產(chǎn)效率的低下，導(dǎo)致企業(yè)或單位開展大數(shù)據(jù)應(yīng)用的成本極高，嚴(yán)重阻礙了大數(shù)據(jù)行業(yè)的發(fā)展。

發(fā)明內(nèi)容

為了解決背景技術(shù)存在的開發(fā)運(yùn)行大數(shù)據(jù)業(yè)務(wù)應(yīng)用程序門檻高、生產(chǎn)效率低和生產(chǎn)成本高的問題，本發(fā)明提供一種開發(fā)運(yùn)行大數(shù)據(jù)業(yè)務(wù)應(yīng)用程序的系統(tǒng)，所述系統(tǒng)包括：

數(shù)據(jù)處理流程定制單元，其用于根據(jù)大數(shù)據(jù)業(yè)務(wù)應(yīng)用的需求，按照數(shù)據(jù)處理流程的每個(gè)節(jié)點(diǎn)的可定制的流程項(xiàng)對(duì)數(shù)據(jù)處理流程進(jìn)行配置以生成數(shù)據(jù)業(yè)務(wù)應(yīng)用程序；

數(shù)據(jù)業(yè)務(wù)應(yīng)用程序提交單元，其用于將數(shù)據(jù)處理流程定制單元生成的數(shù)據(jù)業(yè)務(wù)應(yīng)用程序上傳至大數(shù)據(jù)集群，使用大數(shù)據(jù)集群提供的運(yùn)行功能啟動(dòng)所述數(shù)據(jù)業(yè)務(wù)應(yīng)用程序；

數(shù)據(jù)業(yè)務(wù)應(yīng)用程序監(jiān)控單元，其用于在大數(shù)據(jù)集群運(yùn)行數(shù)據(jù)業(yè)務(wù)應(yīng)用程序過程中，監(jiān)控所述數(shù)據(jù)業(yè)務(wù)應(yīng)用程序的運(yùn)行情況，并及時(shí)回饋給用戶。

進(jìn)一步地，所述數(shù)據(jù)處理流程定制單元包括：

數(shù)據(jù)采集擴(kuò)展單元，其用于將數(shù)據(jù)處理流程中的數(shù)據(jù)采集單元根據(jù)采集方式和采集的數(shù)據(jù)類型分別進(jìn)行擴(kuò)展，其中，按照采集的方式擴(kuò)展為歷史數(shù)據(jù)采集單元和實(shí)時(shí)數(shù)據(jù)采集單元，按照采集的數(shù)據(jù)類型擴(kuò)展為結(jié)構(gòu)化數(shù)據(jù)采集單元、半結(jié)構(gòu)化數(shù)據(jù)采集單元和非結(jié)構(gòu)化數(shù)據(jù)采集單元；

數(shù)據(jù)存儲(chǔ)擴(kuò)展單元，其用于將數(shù)據(jù)處理流程中的數(shù)據(jù)存儲(chǔ)單元擴(kuò)展為關(guān)系型數(shù)據(jù)存儲(chǔ)單元和非關(guān)系型數(shù)據(jù)存儲(chǔ)單元；

數(shù)據(jù)處理擴(kuò)展單元，其用于將數(shù)據(jù)處理流程中的數(shù)據(jù)處理單元擴(kuò)展為結(jié)構(gòu)化查詢語(yǔ)言SQL處理組件、通用算法組件和支持用戶開發(fā)處理組件；

數(shù)據(jù)分享擴(kuò)展單元，其用于將數(shù)據(jù)處理流程中的數(shù)據(jù)分享單元擴(kuò)展為支持批量輸出單元、實(shí)時(shí)輸出單元和支持外部高并發(fā)訪問單元。