[發明專利]數據探索模式的轉換方法、裝置、存儲介質和電子設備

有效

• 申請號: 201711269209.8
• 申請日: 2017-12-05
• 公開（公告）號: CN108170717B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 高睿;鄒存璐;于福超;劉志鵬
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F40/151;G06N20/00
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹;南毅寧

本公開涉及一種數據探索模式的轉換方法、裝置、存儲介質和電子設備，涉及數據分析領域，該方法包括：在Notebook包含的所有步驟中確定會產生新的數據集的步驟作為目標步驟，以得到多個目標步驟，根據多個目標步驟在Notebook中的執行順序，將多個目標步驟轉換成Workflow中的多個節點。能夠將機器學習的探索過程由Notebook轉換為可執行的Workflow，從而在數據探索過程中可以兼顧Notebook和Workflow二者的優點，既能夠保證靈活組合，數據展現方便，也能夠清楚的看到流程之間的流動關系。

技術領域

本公開涉及數據分析領域，具體地，涉及一種數據探索模式的轉換方法、裝置、存儲介質和電子設備。

背景技術

隨著互聯網、云計算和物聯網等信息技術的迅猛發展，相應帶來的數據量也是呈現爆發式的增長，要從這些海量的數據中找到有價值的信息，就需要利用數據分析的相關技術手段。

在現有技術中，機器學習的數據探索的過程通常有兩種模式：一種是Notebook(筆記本模式)，另一種是Workflow(工作流模式)。其中Notebook的特點是分為一個步驟一個步驟地執行，每個步驟之間是相互獨立的，即上一個步驟與下一個步驟之間可能是不相關的，其優點是能夠查看數據探索過程中每個步驟的運行結果和狀態，其中也包括一些和易用性(如可視化)有關的非數據探索步驟，并且支持調整流程和模型參數，組合靈活性高，數據展現方便，但是整體的執行流程不容易看出，數據流動過程不直觀。而Workflow中整體的執行流程清楚，能夠清楚的看到流程之間的流動關系，但是Workflow的數據展現不方便，也不支持靈活組合，修改困難，如果需要對流程進行調整，需要從頭開始。因此在進行數據探索過程中，很難兼顧兩種模式的優點。

發明內容

本公開的目的是提供一種數據探索模式的轉換方法、裝置、存儲介質和電子設備，用以解決不能兼顧Notebook和Workflow兩種模式優點的問題

為了實現上述目的，本公開提供一種數據探索模式的轉換方法，所述方法包括：

在Notebook包含的所有步驟中確定會產生新的數據集的步驟作為目標步驟，以得到多個目標步驟；

根據所述多個目標步驟在所述Notebook中的執行順序，將所述多個目標步驟轉換成Workflow中的多個節點。

可選的，所述多個目標步驟為M個目標步驟，所述根據所述多個目標步驟在所述Notebook中的執行順序，將所述多個目標步驟轉換成Workflow中的多個節點，包括：

根據所述M個目標步驟在所述Notebook中的執行順序，以及所述M個目標步驟中每個步驟的輸入數據集和輸出數據集，確定所述M個目標步驟中具有實際連接關系的N個目標步驟，以及所述N個目標步驟的實際連接關系，其中，N和M為大于零的整數，N≤M；

根據所述N個目標步驟的實際連接關系，將所述N個目標步驟轉換為所述Workflow中的N個節點，所述N個節點在所述Workflow中的連接關系與所述N個目標步驟的實際連接關系對應。

可選的，所述根據所述M個目標步驟在所述Notebook中的執行順序，以及所述M個目標步驟中每個步驟的輸入數據集和輸出數據集，確定所述M個目標步驟中具有實際連接關系的N個目標步驟，以及所述N個目標步驟的實際連接關系，包括：

根據所述M個目標步驟在所述Notebook中的執行順序，從所述M個目標步驟中的最后一個步驟起，向前依次判斷每個步驟需要的輸入數據集中是否包含前一步驟的輸出數據集；

當第一步驟需要的輸入數據集中包含第二步驟的輸出數據集時，確定所述第一步驟與所述第二步驟具有實際連接關系，其中所述第一步驟為所述M個目標步驟中的任一步驟，所述第二步驟為所述第一步驟的前一步驟；和/或，