[發明專利]一種用于構建數據分析流程的數據分析服務推薦方法及系統

有效

• 申請號: 202011453932.3
• 申請日: 2020-12-10
• 公開（公告）號: CN112417304B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 王菁;趙汝濤;陳高建;栗倩文;袁云靜
• 申請（專利權）人: 北方工業大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/0464;G06N3/047;G06N3/049;G06N3/084
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供一種用于構建數據分析流程的數據分析服務推薦方法，包括：S1、獲取待分析數據集以及待分析數據集對應的數據分析任務描述信息；S2、響應于數據分析服務的首次推薦需求，根據待分析數據集對應的數據分析任務描述信息、待分析數據集的特征，從數據分析服務集合中為待分析數據集進行第一步單步服務推薦，獲得第一步單步服務推薦集合。本發明通過在數據分析流程構建過程中為用戶提供即時服務推薦，指導用戶進行決策分析，可以支持沒有數據分析專業知識的普通業務用戶也能方便地使用數據分析服務來完成業務需求，大大降低數據分析的難度，有效節約人力成本，提高數據分析的質量和效率。

技術領域

本發明涉及數據分析領域，具體來說，涉及基于機器學習的數據分析服務組合流程的構建方法，更具體地說，涉及一種用于構建數據分析流程的數據分析服務推薦方法及系統。

背景技術

數據分析往往需要通過組合多個服務以構建數據分析流程來實現。一個數據分析流程中包含多個數據分析服務以及服務之間的順序執行關系。數據分析服務是數據分析算法的封裝，如數據預處理、特征選取、分類、回歸、評估等，通過封裝相應算法提供接口供調用。在流程運行時，按照順序執行關系依次調用每個數據分析服務，對所需分析的數據集進行處理，每一步的輸出作為下一步的輸入，最終得到數據分析結果。但是，現有技術下，在構建數據分析流程時，存在服務選擇難、參數優化難的問題，根據不同的數據集選擇合適的服務以及優化參數是一件非常麻煩的事情，而且往往在數據分析過程中需要探索多次才能得到最終結果。例如某省交通管理部門想要通過分析高速公路收費站過車數據來預測近期交通流量，進而提前設置車道來緩解交通擁堵。交通管理人員的目標是建立一個預測車流量的模型，但是使用什么算法、設置什么參數，都需要專業數據分析知識，對交通管理人員來說具有很大困難。同時由于數據分析的不確定性，用戶經常需要在查看結果后，對數據分析流程進行修改，例如引入或替換其他服務，修改服務參數等，經過多次嘗試才能得到最終滿意的結果，這對數據分析人員提出了更大的挑戰。傳統服務推薦技術大多針對通用的服務組合問題進行推薦，尚未針對數據分析的特定需求、以多次交互的形式來為用戶進行數據分析服務推薦，存在推薦效率低、推薦結果不準確等問題。

發明內容

因此，本發明的目的在于克服上述現有技術的缺陷，提供一種新的用于構建數據分析流程的數據分析服務推薦方法及系統。

根據本發明的第一方面，提供一種用于構建數據分析流程的數據分析服務推薦方法，用于為構建待分析數據集的數據分析流程進行數據分析服務推薦，所述數據分析服務推薦方法包括：S1、獲取待分析數據集以及待分析數據集對應的數據分析任務描述信息；S2、響應于數據分析服務的首次推薦需求，根據待分析數據集對應的數據分析任務描述信息、待分析數據集的特征，從數據分析服務集合中為待分析數據集進行第一步單步服務推薦，獲得第一步單步服務推薦集合，其中，所述數據分析服務集合為用于構建數據分析服務流程的所有數據分析服務組成的集合。優選的，所述推薦方法還包括：S3、響應于數據分析服務的再次推薦需求，根據待分析數據集對應的數據分析任務描述信息、待分析數據集的特征以及已構建的數據分析流程片段，從數據分析服務集合中為待分析數據集從已構建的流程片段的下一步開始進行單步服務推薦。

其中，所述待分析數據集對應的數據分析任務描述信息至少包括：數據分析任務類型、運行時間上限值、任務目標數據特征集合、性能評價指標集合、數據集劃分策略。