[發明專利]數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010202488.1
• 申請日: 2020-03-20
• 公開（公告）號: CN111414264A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 康林;段效晨;秦占明;趙艷杰;羅廷方
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

1.一種數據處理方法，其特征在于，所述方法包括：

獲取各數據任務和各所述數據任務的依賴關系，其中，各所述數據任務分別在相應的數據處理平臺進行處理；

根據各所述數據任務的依賴關系，基于十字鏈表數據結構將所述各數據任務進行存儲，得到數據任務十字鏈表；

建立各所述數據任務對應的數據處理平臺的接口調用進程；

根據所述數據任務十字鏈表，利用各所述接口調用進程調用各所述數據處理平臺，以處理各所述數據任務。

2.根據權利要求1所述的方法，其特征在于，所述根據所述數據任務十字鏈表，利用各所述接口調用進程調用各所述數據處理平臺，以處理各所述數據任務，包括：

根據所述數據任務十字鏈表中記錄的各所述數據任務的依賴關系，從所述數據任務十字鏈表中獲取當前待處理任務；

獲取所述當前待處理任務相應的數據處理平臺的接口調用進程，根據所述接口調用進程調用所述處理當前待處理任務相應的數據處理平臺，以使所述當前待處理任務相應的數據處理平臺處理所述當前待處理任務。

3.根據權利要求2所述的方法，其特征在于，在所述當前待處理任務在相應的數據處理平臺處理后，所述方法還包括：

生成完成文件；

根據所述完成文件，從所述數據任務十字鏈表中獲取下一待處理任務，所述下一待處理任務為所述當前待處理任務的下游任務；

獲取所述下一待處理任務相應的數據處理平臺的接口調用進程，根據所述接口調用進程調用所述處理下一待處理任務相應的數據處理平臺，以使所述下一待處理任務相應的數據處理平臺處理所述下一待處理任務。

4.根據權利要求1所述的方法，其特征在于，所述根據所述各數據任務的依賴關系，基于十字鏈表數據結構將所述各數據任務進行存儲，得到數據任務十字鏈表，包括：

根據各所述數據任務的依賴關系將各所述數據任務作為節點順序存儲；

根據所述各數據任務的依賴關系，將各所述數據任務使用弧連接，使得各所述數據任務進行鏈式存儲。

5.一種數據處理裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取各數據任務和各所述數據任務的依賴關系，其中，各所述數據任務分別在相應的數據處理平臺進行處理；

存儲模塊，用于根據各所述數據任務的依賴關系，基于十字鏈表數據結構將所述各數據任務進行存儲，得到數據任務十字鏈表；

建立模塊，用于建立各所述數據任務對應的數據處理平臺的接口調用進程；

處理模塊，用于根據所述數據任務十字鏈表，利用各所述接口調用進程調用各所述數據處理平臺，以處理各所述數據任務。

6.根據權利要求5所述的裝置，其特征在于，所述處理模塊具體用于：

根據所述數據任務十字鏈表中記錄的各所述數據任務的依賴關系，從所述數據任務十字鏈表中獲取當前待處理任務；

獲取所述當前待處理任務相應的數據處理平臺的接口調用進程，根據所述接口調用進程調用所述處理當前待處理任務相應的數據處理平臺，以使所述當前待處理任務相應的數據處理平臺處理所述當前待處理任務。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：

生成模塊，用于生成完成文件；

第二獲取模塊，用于根據所述完成文件，從所述數據任務十字鏈表中獲取下一待處理任務，所述下一待處理任務為所述當前待處理任務的下游任務；

第三獲取模塊，用于獲取所述下一待處理任務相應的數據處理平臺的接口調用進程，根據所述接口調用進程調用所述處理下一待處理任務相應的數據處理平臺，以使所述下一待處理任務相應的數據處理平臺處理所述下一待處理任務。

8.根據權利要求5所述的裝置，其特征在于，所述存儲模塊具體用于：

根據各所述數據任務的依賴關系將各所述數據任務作為節點順序存儲；

根據所述各數據任務的依賴關系，將各所述數據任務使用弧連接，使得各所述數據任務進行弧鏈式存儲。