[發(fā)明專利]數(shù)據(jù)處理方法和裝置以及腳本顯示方法和裝置

有效

• 申請?zhí)枺?/td>: 201711064594.2
• 申請日: 2017-11-02
• 公開（公告）號: CN110019207B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計）人: 王新波;張明;曾文秋
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 北京博浩百睿知識產(chǎn)權(quán)代理有限責(zé)任公司 11134
• 代理人: 宋子良

本發(fā)明公開了一種數(shù)據(jù)處理方法和裝置以及腳本顯示方法和裝置。其中，該方法包括：確定用于對數(shù)據(jù)進(jìn)行處理的工作流，從至少兩個工作流節(jié)點中篩選出滿足合并條件的工作流節(jié)點，并對滿足合并條件的工作流節(jié)點進(jìn)行合并，得到合并后的工作流，依據(jù)合并后的工作流對數(shù)據(jù)進(jìn)行處理，其中，工作流至少包括兩個工作流節(jié)點。本發(fā)明解決了現(xiàn)有技術(shù)中工作流中的各個流節(jié)點單獨處理，處理效率低的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法和裝置以及腳本顯示方法和裝置。

背景技術(shù)

隨著現(xiàn)代科技尤其是以互聯(lián)網(wǎng)為代表的高新科技產(chǎn)業(yè)的快速發(fā)展，人類的數(shù)據(jù)處理能力得到了極大地提高。大數(shù)據(jù)的應(yīng)用伴隨高科技產(chǎn)品而來，并且已經(jīng)覆蓋了社會的各個領(lǐng)域，各種大數(shù)據(jù)處理平臺應(yīng)運而生。當(dāng)前大部分大數(shù)據(jù)處理平臺的數(shù)據(jù)庫引擎(例如SQL引擎)可支持表變量的定義和表變量的內(nèi)聯(lián)展開，例如，Maxcompute的compiler2.0。根據(jù)本領(lǐng)域內(nèi)的常用技術(shù)可知，大數(shù)據(jù)SQL語言優(yōu)化器(Optimizer)可以在更大范圍的上下文環(huán)境下對系統(tǒng)進(jìn)行優(yōu)化，可使得大數(shù)據(jù)的數(shù)據(jù)處理系統(tǒng)能夠得到比較好的優(yōu)化效果。

目前，在大數(shù)據(jù)處理任務(wù)比較復(fù)雜的情況下，通常是將復(fù)雜的大數(shù)據(jù)處理任務(wù)分成多個子任務(wù)，并通過工作流的方式來執(zhí)行任務(wù)。但在當(dāng)前的工作流節(jié)點只是解析子任務(wù)依賴關(guān)系的情況下，如果此時仍根據(jù)工作流的狀態(tài)將可執(zhí)行的任務(wù)節(jié)點提交到大數(shù)據(jù)平臺，由大數(shù)據(jù)平臺處理，則沒有節(jié)點間關(guān)系的合并優(yōu)化，每個子節(jié)點的輸出表數(shù)據(jù)也會落盤，占用了存儲資源。

針對上述現(xiàn)有技術(shù)中工作流中的各個流節(jié)點單獨處理，處理效率低的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法和裝置以及腳本顯示方法和裝置，以至少解決現(xiàn)有技術(shù)中工作流中的各個流節(jié)點單獨處理，處理效率低的技術(shù)問題。

根據(jù)本發(fā)明實施例的一個方面，提供了一種數(shù)據(jù)處理方法，包括：確定用于對數(shù)據(jù)進(jìn)行處理的工作流，其中，工作流包括至少兩個工作流節(jié)點；從至少兩個工作流節(jié)點中篩選出滿足合并條件的工作流節(jié)點；對滿足合并條件的工作流節(jié)點進(jìn)行合并，得到合并后的工作流；依據(jù)合并后的工作流對數(shù)據(jù)進(jìn)行處理。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種腳本顯示方法，包括：接收用于查看對數(shù)據(jù)進(jìn)行處理的腳本的請求；根據(jù)請求，獲取腳本，其中，腳本包括合并腳本，合并腳本為：將用于對數(shù)據(jù)進(jìn)行處理的工作流所包括的滿足合并條件的工作流節(jié)點進(jìn)行合并后得到的合并工作流節(jié)點對應(yīng)的腳本；顯示獲取的腳本。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種數(shù)據(jù)處理裝置，包括：確定模塊，用于確定用于對數(shù)據(jù)進(jìn)行處理的工作流，其中，工作流包括至少兩個工作流節(jié)點；篩選模塊，用于從至少兩個工作流節(jié)點中篩選出滿足合并條件的工作流節(jié)點；合并模塊，用于對滿足合并條件的工作流節(jié)點進(jìn)行合并，得到合并后的工作流；處理模塊，用于依據(jù)合并后的工作流對數(shù)據(jù)進(jìn)行處理。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種腳本顯示裝置，包括：接收模塊，用于接收用于查看對數(shù)據(jù)進(jìn)行處理的腳本的請求；獲取模塊，用于根據(jù)請求，獲取腳本，其中，腳本包括合并腳本，合并腳本為：將用于對數(shù)據(jù)進(jìn)行處理的工作流所包括的滿足合并條件的工作流節(jié)點進(jìn)行合并后得到的合并工作流節(jié)點對應(yīng)的腳本；顯示模塊，用于顯示獲取的腳本。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種存儲介質(zhì)，該存儲介質(zhì)包括存儲的程序，其中，在程序運行時控制存儲介質(zhì)所在設(shè)備執(zhí)行以下處理步驟：確定用于對數(shù)據(jù)進(jìn)行處理的工作流，其中，工作流包括至少兩個工作流節(jié)點；從至少兩個工作流節(jié)點中篩選出滿足合并條件的工作流節(jié)點；對滿足合并條件的工作流節(jié)點進(jìn)行合并，得到合并后的工作流；依據(jù)合并后的工作流對數(shù)據(jù)進(jìn)行處理。