[發明專利]數據生產加工方法、裝置、電子設備及存儲介質

有效

• 申請號: 201911355357.0
• 申請日: 2019-12-25
• 公開（公告）號: CN111125451B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 江濤;王冠朝;嚴暉
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 曹娜

1.一種數據生產加工方法，其特征在于，包括：

根據多個數據處理流程的信息及各個所述數據處理流程的依賴關系，生成包含多個數據處理流程的數據生產流；

將所述數據生產流轉換為對應的數據生產代碼，所述數據生產代碼用于對數據進行生產加工；

所述數據生產流采用有向無環圖的形式表示；其中，

所述有向無環圖中的各個節點表示所述數據處理流程；

所述有向無環圖中的各個有向邊表示所述有向邊的后一個節點所對應的數據處理流程對前一個節點所對應的數據處理流程的依賴關系；

所述根據多個數據處理流程的信息及各個所述數據處理流程的依賴關系，生成包含多個數據處理流程的數據生產流之前，還包括：

接收數據處理流程所對應的腳本的地址信息；

根據所述地址信息提取所述數據處理流程所對應的腳本；

根據所述腳本，確定對應的數據處理流程；

所述有向無環圖的顯示界面上顯示數據生產流的操作控件，包括運行、斷點重啟、修改例行周期和編輯DAG圖。

2.根據權利要求1所述的方法，其特征在于，所述依賴關系包括時間依賴和數據依賴中的至少一項。

3.根據權利要求1所述的方法，其特征在于，所述根據多個數據處理流程的信息及各個所述數據處理流程的依賴關系，生成包含多個數據處理流程的數據生產流之前，還包括：

提供預先設置的數據處理策略；

響應于對所述數據處理策略的選擇請求及對所述數據處理策略的參數設置，確定對應的數據處理流程。

4.根據權利要求1或3所述的方法，其特征在于，所述確定對應的數據處理流程之后，還包括：

顯示確定出的數據處理流程所對應的組件；

響應于對所述組件的拖拽操作、以及對各組件之間連接關系的輸入操作，生成所述組件對應的數據處理流程所對應的節點，以及與所述節點連接的有向邊。

5.根據權利要求2至3任一所述的方法，其特征在于，還包括：運行所述數據生產代碼，以對數據進行生產加工。

6.根據權利要求5所述的方法，其特征在于，還包括：顯示所述有向無環圖；

在所述數據生產代碼的運行過程中，在所述有向無環圖上顯示各所述數據處理流程的運行階段。

7.根據權利要求1至3任一所述的方法，其特征在于，還包括：

響應于對所述數據處理流程的信息和/或所述依賴關系的修改指令，對所述數據處理流程和/或所述依賴關系進行更新；

根據更新后的所述數據處理流程和/或所述依賴關系，對所述數據生產流進行迭代。

8.根據權利要求6所述的方法，其特征在于，還包括：

記錄所述數據生產流所對應的數據生產代碼的運行數據；

分析所述運行數據；

將分析結果采用圖表的形式顯示。

9.一種數據生產加工裝置，其特征在于，包括：

生成模塊，用于根據多個數據處理流程的信息及各個所述數據處理流程對的依賴關系，生成包含多個數據處理流程的數據生產流；

轉換模塊，用于將所述數據生產流轉換為對應的數據生產代碼，所述數據生產代碼用于對數據進行生產加工；

所述數據生產流采用有向無環圖的形式表示；其中，

所述有向無環圖中的各個節點表示一個所述數據處理流程；

所述有向無環圖中的各個有向邊表示所述有向邊的后一個節點所對應的數據處理流程對前一個節點所對應的數據處理流程的依賴關系；

第二數據處理流程確定模塊，用于接收數據處理流程所對應的腳本的地址信息；根據所述地址信息提取所述數據處理流程所對應的腳本；根據所述腳本，確定對應的數據處理流程；

所述有向無環圖的顯示界面上顯示數據生產流的操作控件，包括運行、斷點重啟、修改例行周期和編輯DAG圖。

10.根據權利要求9所述的裝置，其特征在于，所述依賴關系包括時間依賴和數據依賴中的至少一項。