[發(fā)明專利]數(shù)據(jù)分析方法、模型訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810402382.9
• 申請(qǐng)日: 2018-04-28
• 公開（公告）號(hào): CN110163380B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 吳佳;陳修云;趙乙曌
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司;電子科技大學(xué)
• 主分類號(hào): G06N20/10
• 分類號(hào): G06N20/10
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 劉映東

1.一種數(shù)據(jù)分析方法，其特征在于，應(yīng)用于計(jì)算機(jī)設(shè)備，所述方法包括：

獲取多個(gè)樣本數(shù)據(jù)以及數(shù)據(jù)處理模型，所述多個(gè)樣本數(shù)據(jù)的類型為目標(biāo)類型，所述數(shù)據(jù)處理模型包括多個(gè)數(shù)據(jù)處理模塊，每個(gè)數(shù)據(jù)處理模塊對(duì)應(yīng)于一種數(shù)據(jù)分析功能，所述多個(gè)數(shù)據(jù)處理模塊內(nèi)包括的處理子模塊的數(shù)量不全為一，每個(gè)處理子模塊對(duì)應(yīng)于一種數(shù)據(jù)分析功能的一種分析算法，其中，所述目標(biāo)類型包括文本數(shù)據(jù)和圖像數(shù)據(jù)中至少一項(xiàng)，所述文本數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)分析功能包括語義分析，所述圖像數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)分析功能包括人臉識(shí)別；

基于每個(gè)數(shù)據(jù)處理模塊的處理子模塊和所述多個(gè)樣本數(shù)據(jù)進(jìn)行訓(xùn)練，獲取每個(gè)數(shù)據(jù)處理模塊的目標(biāo)處理子模塊以及所述目標(biāo)處理子模塊的模型參數(shù)；其中，所述目標(biāo)處理子模塊以及所述目標(biāo)處理子模塊的模型參數(shù)能夠使得對(duì)所述目標(biāo)類型的數(shù)據(jù)進(jìn)行分析時(shí)準(zhǔn)確性符合預(yù)設(shè)條件；

根據(jù)每個(gè)數(shù)據(jù)處理模塊的目標(biāo)處理子模塊以及所述目標(biāo)處理子模塊的模型參數(shù)，確定目標(biāo)模型配置信息，所述目標(biāo)模型配置信息包括所述每個(gè)數(shù)據(jù)處理模塊在處理所述目標(biāo)類型數(shù)據(jù)時(shí)采用的處理子模塊以及處理子模塊的模型參數(shù)；

當(dāng)接收到所述目標(biāo)類型的數(shù)據(jù)時(shí)，將所述數(shù)據(jù)輸入所述數(shù)據(jù)處理模型，按照所述目標(biāo)模型配置信息進(jìn)行數(shù)據(jù)分析。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于每個(gè)數(shù)據(jù)處理模塊的處理子模塊和所述多個(gè)樣本數(shù)據(jù)進(jìn)行訓(xùn)練，獲取每個(gè)數(shù)據(jù)處理模塊的目標(biāo)處理子模塊以及所述目標(biāo)處理子模塊的模型參數(shù)，包括：

從數(shù)據(jù)處理模型中每個(gè)數(shù)據(jù)處理模塊的處理子模塊中，分別獲取每個(gè)數(shù)據(jù)處理模塊中的一個(gè)處理子模塊，得到測(cè)試模型；

根據(jù)所述多個(gè)樣本數(shù)據(jù)中的訓(xùn)練樣本，對(duì)所述測(cè)試模型進(jìn)行模型訓(xùn)練，確定所述測(cè)試模型中處理子模塊的模型參數(shù)；

根據(jù)所述多個(gè)樣本數(shù)據(jù)中的測(cè)試樣本，獲取所述測(cè)試模型的總期望值；

基于每個(gè)數(shù)據(jù)處理模塊的處理子模塊繼續(xù)執(zhí)行對(duì)測(cè)試模型的構(gòu)建、訓(xùn)練以及總期望值的獲取過程，直到所述總期望值收斂或迭代次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，輸出所述總期望值收斂或迭代次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)所訓(xùn)練的測(cè)試模型中處理子模塊的模型參數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述從數(shù)據(jù)處理模型中每個(gè)數(shù)據(jù)處理模塊的處理子模塊中，分別獲取每個(gè)數(shù)據(jù)處理模塊中的一個(gè)處理子模塊，得到測(cè)試模型，包括：

對(duì)于每個(gè)數(shù)據(jù)處理模塊，基于所述數(shù)據(jù)處理模塊的模塊參數(shù)，獲取所述數(shù)據(jù)處理模塊的處理子模塊中被選中概率最大的處理子模塊。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

在任一次對(duì)測(cè)試模型的構(gòu)建、訓(xùn)練以及總期望值的獲取過程之后，基于獲取到的總期望值的變化，調(diào)整所述數(shù)據(jù)處理模塊的模塊參數(shù)。

5.根據(jù)權(quán)利要求2-4任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述多個(gè)樣本數(shù)據(jù)中的測(cè)試樣本，獲取所述測(cè)試模型的總期望值，包括：

獲取各個(gè)數(shù)據(jù)處理模塊的模塊參數(shù)以及被選中概率；

獲取所述測(cè)試模型對(duì)所述測(cè)試樣本進(jìn)行數(shù)據(jù)分析時(shí)的準(zhǔn)確度；

根據(jù)所述模塊參數(shù)、所述被選中概率和所述準(zhǔn)確度，獲取所述測(cè)試模型的總期望值。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照所述目標(biāo)模型配置信息進(jìn)行數(shù)據(jù)分析，包括：

從目標(biāo)模型配置信息中獲取每個(gè)數(shù)據(jù)處理模塊中處理子模塊的標(biāo)識(shí)以及所述標(biāo)識(shí)對(duì)應(yīng)的模型參數(shù)；

對(duì)于每個(gè)標(biāo)識(shí)，調(diào)用所述標(biāo)識(shí)對(duì)應(yīng)的處理子模塊，由所述處理子模塊根據(jù)所述標(biāo)識(shí)對(duì)應(yīng)的模型參數(shù)，對(duì)所述數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，輸出數(shù)據(jù)處理結(jié)果。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

當(dāng)獲取到多個(gè)樣本數(shù)據(jù)以及數(shù)據(jù)處理模型時(shí)，獲取所述多個(gè)樣本數(shù)據(jù)與歷史處理數(shù)據(jù)中的樣本數(shù)據(jù)的相似度；

獲取歷史處理數(shù)據(jù)中相似度最大的樣本數(shù)據(jù)對(duì)應(yīng)的模型配置信息，將所述模型配置信息作為初始模型配置信息，并基于所述初始模型配置信息以及所述多個(gè)樣本數(shù)據(jù)對(duì)所述數(shù)據(jù)處理模型進(jìn)行模型訓(xùn)練，確定目標(biāo)模型配置信息。