[發(fā)明專利]大數(shù)據(jù)任務的處理方法及系統(tǒng)、電子設備、存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811543331.4
• 申請日: 2018-12-17
• 公開（公告）號: CN111324332A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設計）人: 古全友;劉詔;薛韜
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F8/34
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;李夢男

本發(fā)明公開了一種大數(shù)據(jù)任務的處理方法及系統(tǒng)、電子設備、存儲介質(zhì)。大數(shù)據(jù)任務的處理方法包括：將數(shù)據(jù)表和任務操作的腳本封裝成不同的圖形組件；所述任務操作的腳本用于對所述數(shù)據(jù)表進行分析處理；在接收到選擇指令時，選擇目標圖形組件；拼接所述目標圖形組件以生成所述大數(shù)據(jù)任務的流程圖。本發(fā)明將數(shù)據(jù)表和任務操作的腳本封裝成圖形組件，用戶通過選擇、拼接圖形組件即可完成大數(shù)據(jù)任務的開發(fā)，從而通過圖形化和可視化簡化了大數(shù)據(jù)任務的開發(fā)過程，極大地減小了編程代碼的出錯率，提高了大數(shù)據(jù)任務開發(fā)的效率。

技術領域

本發(fā)明涉及計算機技術領域，特別涉及一種大數(shù)據(jù)任務的處理方法及系統(tǒng)、電子設備、存儲介質(zhì)。

背景技術

大型電商通常都會建立自己的以Hadoop(一個分布式文件系統(tǒng))為基礎的大數(shù)據(jù)平臺。每次營銷活動，都要有評估報告，這些評估報告，都是執(zhí)行大數(shù)據(jù)任務導出的。目前，大數(shù)據(jù)任務的開發(fā)，一般通過工程師編寫代碼實現(xiàn)，為了確保大數(shù)據(jù)任務能夠符合要求，工程師需要在大數(shù)據(jù)編寫完后對腳本進行調(diào)試處理。

現(xiàn)有技術中的這種大數(shù)據(jù)任務生成、調(diào)試方式存在如下問題：開發(fā)大數(shù)據(jù)任務的效率低，調(diào)試時間長且容易出錯。另外，若工程師對大數(shù)據(jù)內(nèi)部運行原理不熟悉，其編寫的大數(shù)據(jù)任務，執(zhí)行效率不高，執(zhí)行時間長，還會導致Hive(一個數(shù)據(jù)倉庫工具)表里存在好多小文件，造成整個集市效率低。

發(fā)明內(nèi)容

本發(fā)明要解決的技術問題是為了克服現(xiàn)有技術中通過人工編程實現(xiàn)大數(shù)據(jù)任務的生成方式，開發(fā)效率低且容易出錯的缺陷，提供一種大數(shù)據(jù)任務的處理方法及系統(tǒng)、電子設備、存儲介質(zhì)。

本發(fā)明實施例提供一種大數(shù)據(jù)任務的處理方法，所述處理方法包括：

將數(shù)據(jù)表和任務操作的腳本封裝成不同的圖形組件；所述任務操作的腳本用于對所述數(shù)據(jù)表進行分析處理；

在接收到選擇指令時，選擇目標圖形組件；

拼接所述目標圖形組件以生成所述大數(shù)據(jù)任務的流程圖；

根據(jù)所述流程圖依次執(zhí)行所述目標圖形組件的腳本，實現(xiàn)所述大數(shù)據(jù)任務的處理。

較佳地，所述流程圖為有向無環(huán)圖。

較佳地，所述處理方法還包括：

根據(jù)任務類型，生成任務模板；

拼接所述目標圖形組件的步驟，具體包括：

在所述任務模板中拼接所述目標圖形組件；

拼接所述目標圖形組件的步驟之后，還包括：

在接收到腳本生成指令時，根據(jù)所述任務模板生成所述流程圖的任務腳本。

較佳地，所述處理方法還包括：

獲取調(diào)試規(guī)則配置；

根據(jù)所述調(diào)試規(guī)則配置調(diào)試所述任務腳本。

較佳地，所述圖形組件包括：標簽；

所述標簽用于描述所述圖形組件的功能和/或名稱。

本發(fā)明實施例提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述任一項所述的大數(shù)據(jù)任務的處理方法。

本發(fā)明實施例提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述任一項所述的大數(shù)據(jù)任務的處理方法的步驟。

本發(fā)明實施例提供一種大數(shù)據(jù)任務的處理系統(tǒng)，所述處理系統(tǒng)包括：

封裝模塊，用于將數(shù)據(jù)表和任務操作的腳本封裝成不同的圖形組件；所述任務操作的腳本用于對所述數(shù)據(jù)表進行分析處理；