[發明專利]數據生產加工方法、裝置、電子設備及存儲介質

有效

• 申請號: 201911355357.0
• 申請日: 2019-12-25
• 公開（公告）號: CN111125451B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 江濤;王冠朝;嚴暉
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 曹娜

本申請實施例公開了數據生產加工方法、裝置、電子設備及存儲介質，涉及數據生產領域。具體實現方案為：根據多個數據處理流程的信息及各個所述數據處理流程的依賴關系，生成包含多個數據處理流程的數據生產流；將所述數據生產流轉換為對應的數據生產代碼，所述數據生產代碼用于對數據進行生產加工。本申請實施例能夠降低數據處理流程的成本，加強流程化、規范化的保障，方便管理、監控和維護。

技術領域

本申請涉及數據處理領域，尤其涉及數據生產領域。

背景技術

數據的抽取-轉換-加載(ETL，Extract-Transform-Load)技術是一種常見的數據生產加工方式。ETL過程包含數據獲取(結構化數據提取、外部引入、策略挖掘等)、數據格式轉換、數據清洗、數據消歧義融合、數據入庫等系列的操作。

現有的數據生產加工一般是由研發工程師(RD，Research?and?Development)通過自己編寫程序來實現各個數據處理流程，再通過硬編碼的方式將各個數據處理流程串連起來，并在各自的機器上運行。這種通過人工編程實現各個數據處理流程的方式需要較大的人力成本，缺少流程化、規范化的保障，并且難以管理、監控和維護。

發明內容

本申請實施例提出一種數據生產加工方法及裝置，以解決上述技術問題中的至少一項。

第一方面，本申請實施例提出一種數據生產加工方法，包括：

根據多個數據處理流程的信息及各個數據處理流程的依賴關系，生成包含多個數據處理流程的數據生產流；

將數據生產流轉換為對應的數據生產代碼，數據生產代碼用于對數據進行生產加工。

本申請實施例根據收到的數據處理流程的信息及依賴關系生成數據生產流，并將數據生產流轉換為對應的數據生產代碼，從而實現對數據進行生產加工，能夠降低數據處理流程的成本，加強流程化、規范化的保障，方便管理、監控和維護。

在一種實施方式中，數據生產流采用有向無環圖的形式表示；其中，有向無環圖中的各個節點表示數據處理流程；

有向無環圖中的各個有向邊表示有向邊的后一個節點所對應的數據處理流程對前一個節點所對應的數據處理流程的依賴關系。

本申請實施例采用有向無環圖表示數據生產流，能夠表示出較為復雜和類型豐富的數據生產流。

在一種實施方式中，依賴關系包括時間依賴和數據依賴中的至少一項。

本申請實施例采用時間依賴和數據依賴，能夠表示出更多樣的數據處理流程的依賴關系。

在一種實施方式中，根據多個數據處理流程的信息及各個數據處理流程的依賴關系，生成包含多個數據處理流程的數據生產流之前，還包括：

提供預先設置的數據處理策略；

響應于對數據處理策略的選擇請求及對數據處理策略的參數設置，確定對應的數據處理流程。

本申請實施例可以為用戶提供已經泛化好的組件，便于自動化、模塊化處理。

在一種實施方式中，根據多個數據處理流程的信息及各個數據處理流程的依賴關系，生成包含多個數據處理流程的數據生產流之前，還包括：

接收數據處理流程所對應的腳本的地址信息；

根據地址信息提取數據處理流程所對應的腳本；

根據腳本，確定對應的數據處理流程。

對于不經常采用的數據處理策略，本申請實施例可以自由擴展任何用戶需要的操作組件。

在一種實施方式中，確定對應的數據處理流程之后，還包括：