[發(fā)明專利]數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010202488.1
• 申請日: 2020-03-20
• 公開（公告）號: CN111414264A
• 公開（公告）日: 2020-07-14
• 發(fā)明（設(shè)計）人: 康林;段效晨;秦占明;趙艷杰;羅廷方
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本申請實施例提供了數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，涉及計算機技術(shù)領(lǐng)域，通過獲取各數(shù)據(jù)任務(wù)和各所述數(shù)據(jù)任務(wù)的依賴關(guān)系，根據(jù)各所述數(shù)據(jù)任務(wù)的依賴關(guān)系，基于十字鏈表數(shù)據(jù)結(jié)構(gòu)將所述各數(shù)據(jù)任務(wù)進行存儲，得到數(shù)據(jù)任務(wù)十字鏈表，建立各所述數(shù)據(jù)任務(wù)對應(yīng)的數(shù)據(jù)處理平臺的接口調(diào)用進程，根據(jù)所述數(shù)據(jù)任務(wù)十字鏈表，利用各所述接口調(diào)用進程調(diào)用各所述數(shù)據(jù)處理平臺，然后通過各所述數(shù)據(jù)處理平臺處理各所述數(shù)據(jù)任務(wù)，以使各數(shù)據(jù)任務(wù)按照存儲在十字鏈表的中的存儲關(guān)系順序處理，以解決現(xiàn)有技術(shù)中無法實現(xiàn)自動化數(shù)據(jù)處理的問題。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，特別是涉及數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

數(shù)據(jù)計算作為數(shù)據(jù)開發(fā)的核心部分，對于數(shù)據(jù)開發(fā)起著重要的作用，數(shù)據(jù)的準(zhǔn)確性和快速性又依賴于數(shù)據(jù)計算系統(tǒng)的魯棒性。數(shù)據(jù)開發(fā)過程中需要不同階段的任務(wù)，不同的數(shù)據(jù)任務(wù)分布在不同的平臺，經(jīng)常會出現(xiàn)因為上游數(shù)據(jù)問題或程序漏洞等帶來的下游數(shù)據(jù)重跑和恢復(fù)，但各個數(shù)據(jù)任務(wù)的平臺是隔離的，每次恢復(fù)數(shù)據(jù)需要人工整理各任務(wù)的依賴關(guān)系，等到上游任務(wù)計算完才跑其下游任務(wù)，耗費了大量人力，無法實現(xiàn)自動化數(shù)據(jù)處理，非常不便。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，以解決現(xiàn)有技術(shù)中無法實現(xiàn)自動化數(shù)據(jù)處理的問題。

具體技術(shù)方案如下：

第一方面，本申請實施例提供了數(shù)據(jù)處理方法，所述方法包括：

獲取各數(shù)據(jù)任務(wù)和各所述數(shù)據(jù)任務(wù)的依賴關(guān)系，其中，各所述數(shù)據(jù)任務(wù)分別在相應(yīng)的數(shù)據(jù)處理平臺進行處理；

根據(jù)各所述數(shù)據(jù)任務(wù)的依賴關(guān)系，基于十字鏈表數(shù)據(jù)結(jié)構(gòu)將所述各數(shù)據(jù)任務(wù)進行存儲，得到數(shù)據(jù)任務(wù)十字鏈表；

建立各所述數(shù)據(jù)任務(wù)對應(yīng)的數(shù)據(jù)處理平臺的接口調(diào)用進程；

根據(jù)所述數(shù)據(jù)任務(wù)十字鏈表，利用各所述接口調(diào)用進程調(diào)用各所述數(shù)據(jù)處理平臺，以處理各所述數(shù)據(jù)任務(wù)。

可選的，所述根據(jù)所述數(shù)據(jù)任務(wù)十字鏈表，利用各所述接口調(diào)用進程調(diào)用各所述數(shù)據(jù)處理平臺，以處理各所述數(shù)據(jù)任務(wù)，包括：

根據(jù)所述數(shù)據(jù)任務(wù)十字鏈表中記錄的各所述數(shù)據(jù)任務(wù)的依賴關(guān)系，從所述數(shù)據(jù)任務(wù)十字鏈表中獲取當(dāng)前待處理任務(wù)；

獲取所述當(dāng)前待處理任務(wù)相應(yīng)的數(shù)據(jù)處理平臺的接口調(diào)用進程，根據(jù)所述接口調(diào)用進程調(diào)用所述處理當(dāng)前待處理任務(wù)相應(yīng)的數(shù)據(jù)處理平臺，以使所述當(dāng)前待處理任務(wù)相應(yīng)的數(shù)據(jù)處理平臺處理所述當(dāng)前待處理任務(wù)。

可選的，在所述當(dāng)前待處理任務(wù)在相應(yīng)的數(shù)據(jù)處理平臺處理后，所述方法還包括：

生成完成文件；

根據(jù)所述完成文件，從所述數(shù)據(jù)任務(wù)十字鏈表中獲取下一待處理任務(wù)，所述下一待處理任務(wù)為所述當(dāng)前待處理任務(wù)的下游任務(wù)；

獲取所述下一待處理任務(wù)相應(yīng)的數(shù)據(jù)處理平臺的接口調(diào)用進程，根據(jù)所述接口調(diào)用進程調(diào)用所述處理下一待處理任務(wù)相應(yīng)的數(shù)據(jù)處理平臺，以使所述下一待處理任務(wù)相應(yīng)的數(shù)據(jù)處理平臺處理所述下一待處理任務(wù)。

可選的，所述根據(jù)所述各數(shù)據(jù)任務(wù)的依賴關(guān)系，基于十字鏈表數(shù)據(jù)結(jié)構(gòu)將所述各數(shù)據(jù)任務(wù)進行存儲，得到數(shù)據(jù)任務(wù)十字鏈表，包括：

根據(jù)各所述數(shù)據(jù)任務(wù)的依賴關(guān)系將各所述數(shù)據(jù)任務(wù)作為節(jié)點順序存儲；

根據(jù)所述各數(shù)據(jù)任務(wù)的依賴關(guān)系，將各所述數(shù)據(jù)任務(wù)使用弧連接，使得各所述數(shù)據(jù)任務(wù)進行鏈?zhǔn)酱鎯Α?/p>

第二方面，本申請實施例提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

第一獲取模塊，用于獲取各數(shù)據(jù)任務(wù)和各所述數(shù)據(jù)任務(wù)的依賴關(guān)系，其中，各所述數(shù)據(jù)任務(wù)分別在相應(yīng)的數(shù)據(jù)處理平臺進行處理；