[發明專利]數據分析方法、模型訓練方法、裝置、設備及存儲介質

有效

• 申請號: 201810402382.9
• 申請日: 2018-04-28
• 公開（公告）號: CN110163380B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 吳佳;陳修云;趙乙曌
• 申請（專利權）人: 騰訊科技（深圳）有限公司;電子科技大學
• 主分類號: G06N20/10
• 分類號: G06N20/10
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 劉映東

本發明公開了一種數據分析方法、模型訓練方法、裝置、設備及存儲介質，屬于大數據技術領域。方法包括：獲取多個樣本數據以及數據處理模型；基于每個數據處理模塊的處理子模塊和多個樣本數據進行訓練，獲取每個數據處理模塊的目標處理子模塊以及目標處理子模塊的模型參數；根據每個數據處理模塊的目標處理子模塊以及目標處理子模塊的模型參數，確定目標模型配置信息；當接收到目標類型的數據時，將數據輸入數據處理模型，按照目標模型配置信息進行數據分析。本發明不限定數據的類型，無需相關技術人員根據自身經驗去確定數據分析過程，且對于不同類型的數據，上述模型可自主變化，能適應于不同類型的數據，適應性高，降低了人工成本。

技術領域

本發明涉及大數據技術領域，特別涉及一種數據分析方法、模型訓練方法、裝置、設備及存儲介質。

背景技術

隨著大數據技術的發展，需要對不同來源的數據進行分析，以發現其內在規律或者潛藏的信息，為了保證分析結果更準確、更能體現問題，通常會采集大量數據，如何快速、準確地對數據進行分析顯得尤為重要。

目前，數據分析方法通常是將數據的分析過程分成特定的幾個步驟來處理，并由相關技術人員憑借自身經驗為每個步驟提前選擇好相應的處理方式，并訓練完成相應的模型，在獲取到待分析的數據時，可以將數據輸入模型中，由該模型對數據進行分析，輸出數據分析結果。

在實現本發明的過程中，發明人發現相關技術至少存在以下問題：

上述數據分析方法所涉及的模型是專門為某類數據訓練的，因此，一旦確定了該類數據的分析過程，上述模型就不能變化，導致當需要對不同類型的數據進行分析時，還需要再次由相關技術人員憑借自身經驗去重新訓練模型，因此，上述數據分析方法的適應性較差，人工成本較高。

發明內容

本發明實施例提供了一種數據分析方法、模型訓練方法、裝置、設備及存儲介質，可以解決相關技術中數據分析方法的適應性差，人工成本高的問題。所述技術方案如下：

一方面，提供了一種數據分析方法，所述方法包括：

獲取多個樣本數據以及數據處理模型，所述多個樣本數據的類型為目標類型，所述數據處理模型包括多個數據處理模塊，每個數據處理模塊對應于一種數據分析功能，所述多個數據處理模塊內包括的處理子模塊的數量不全為一，每個處理子模塊對應于一種數據分析功能的一種分析算法；

基于每個數據處理模塊的處理子模塊和所述多個樣本數據進行訓練，獲取每個數據處理模塊的目標處理子模塊以及所述目標處理子模塊的模型參數；其中，所述目標處理子模塊以及所述目標處理子模塊的模型參數能夠使得對所述目標類型的數據進行分析時準確性符合預設條件；

根據每個數據處理模塊的目標處理子模塊以及所述目標處理子模塊的模型參數，確定目標模型配置信息，所述目標模型配置信息包括所述每個數據處理模塊在處理所述目標類型數據時采用的處理子模塊以及處理子模塊的模型參數；

當接收到所述目標類型的數據時，將所述數據輸入所述數據處理模型，按照所述目標模型配置信息進行數據分析。

一方面，提供了一種數據處理模型訓練方法，所述方法包括：

獲取多個樣本數據以及數據處理模型，所述多個樣本數據的類型為目標類型，所述數據處理模型包括多個數據處理模塊，每個數據處理模塊對應于一種數據分析功能，所述多個數據處理模塊內包括的處理子模塊的數量不全為一，每個處理子模塊對應于一種數據分析功能的一種分析算法；

從數據處理模型中每個數據處理模塊的處理子模塊中，分別獲取每個數據處理模塊中的一個處理子模塊，得到測試模型；

根據所述多個樣本數據中的訓練樣本，對所述測試模型進行模型訓練，確定所述測試模型中處理子模塊的模型參數；

根據所述多個樣本數據中的測試樣本，獲取所述測試模型的總期望值；