[發(fā)明專利]網(wǎng)絡(luò)模型訓(xùn)練方法、裝置、設(shè)備及計算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010145962.1
• 申請日: 2020-03-04
• 公開（公告）號: CN111291868A
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計）人: 王達(dá);劉博;鄭文琛;楊強
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 王韜

本發(fā)明公開了一種網(wǎng)絡(luò)模型訓(xùn)練方法，包括以下步驟：獲取預(yù)設(shè)消息對應(yīng)的訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)；通過深度神經(jīng)子網(wǎng)絡(luò)生成器生成多個候選子網(wǎng)絡(luò)，并基于所述訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)，確定各個候選子網(wǎng)絡(luò)對應(yīng)的訓(xùn)練誤差；基于各個所述訓(xùn)練誤差，在各個候選子網(wǎng)絡(luò)中確定最優(yōu)子網(wǎng)絡(luò)，并基于所述最優(yōu)子網(wǎng)絡(luò)以及主網(wǎng)絡(luò)確定目標(biāo)預(yù)測模型。本發(fā)明還公開了一種網(wǎng)絡(luò)模型訓(xùn)練裝置、設(shè)備及計算機(jī)可讀存儲介質(zhì)。本發(fā)明能夠通過機(jī)器學(xué)習(xí)實現(xiàn)網(wǎng)絡(luò)模型的自動訓(xùn)練，針對不同的預(yù)設(shè)消息，無需人工進(jìn)行不同網(wǎng)絡(luò)模型的訓(xùn)練和優(yōu)化，節(jié)省了大量的人力資源，降低了模型訓(xùn)練與調(diào)優(yōu)的工作量，提高了網(wǎng)絡(luò)模型的訓(xùn)練效率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)模型訓(xùn)練方法、裝置、設(shè)備及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

隨著人工智能技術(shù)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)模型(可以簡稱為網(wǎng)絡(luò)模型)在系統(tǒng)辨識、模式識別、智能控制等領(lǐng)域有著廣泛的應(yīng)用前景。通常可以基于訓(xùn)練樣本集，對預(yù)設(shè)的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的網(wǎng)絡(luò)模型，進(jìn)而，可以將待檢測樣本輸入至訓(xùn)練好的網(wǎng)絡(luò)模型，得到網(wǎng)絡(luò)模型的實際輸出結(jié)果，實際輸出結(jié)果為對待檢測樣本進(jìn)行預(yù)測的預(yù)測結(jié)果。

例如，在程序化廣告投放中，可以將每個用戶的特點輸入至網(wǎng)絡(luò)模型根據(jù)，根據(jù)網(wǎng)絡(luò)模型的實際輸出結(jié)果快速做出是否投放廣告的決策。

但是，目前采用的網(wǎng)絡(luò)模型需要專業(yè)的算法工程師結(jié)合不同廣告業(yè)務(wù)的特點有針對性地進(jìn)行模型訓(xùn)練和優(yōu)化，不同的廣告業(yè)務(wù)無法使用相同的網(wǎng)絡(luò)模型，算法工程師需要針對不同的廣告業(yè)務(wù)進(jìn)行不同網(wǎng)絡(luò)模型的訓(xùn)練和優(yōu)化，需要花費算法工程師的大量時間，并且每次訓(xùn)練所采用的模型結(jié)構(gòu)需要算法人員手動指定，導(dǎo)致不同網(wǎng)絡(luò)模型的訓(xùn)練和優(yōu)化不夠智能。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種網(wǎng)絡(luò)模型訓(xùn)練方法、裝置、設(shè)備及計算機(jī)可讀存儲介質(zhì)，旨在解決不同網(wǎng)絡(luò)模型的訓(xùn)練和優(yōu)化不智能的技術(shù)問題。

為實現(xiàn)上述目的，本發(fā)明提供一種網(wǎng)絡(luò)模型訓(xùn)練方法，所述網(wǎng)絡(luò)模型訓(xùn)練方法包括以下步驟：

獲取消息對應(yīng)的訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)；

通過深度神經(jīng)子網(wǎng)絡(luò)生成器生成多個候選子網(wǎng)絡(luò)，并基于所述訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)，確定各個候選子網(wǎng)絡(luò)對應(yīng)的訓(xùn)練誤差；

基于各個所述訓(xùn)練誤差，在各個候選子網(wǎng)絡(luò)中確定最優(yōu)子網(wǎng)絡(luò)，并基于所述最優(yōu)子網(wǎng)絡(luò)以及主網(wǎng)絡(luò)確定目標(biāo)預(yù)測模型。

進(jìn)一步地，所述基于所述訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)，確定各個候選子網(wǎng)絡(luò)對應(yīng)的訓(xùn)練誤差的步驟包括：

依次在各個候選子網(wǎng)絡(luò)獲取目標(biāo)候選子網(wǎng)絡(luò)；

將所述目標(biāo)候選子網(wǎng)絡(luò)嵌入主網(wǎng)絡(luò)得到更新后的主網(wǎng)絡(luò)，并將所述訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)輸入更新后的主網(wǎng)絡(luò)，以獲得所述目標(biāo)候選子網(wǎng)絡(luò)對應(yīng)的訓(xùn)練誤差。

進(jìn)一步地，所述將所述訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)輸入更新后的主網(wǎng)絡(luò)，以獲得所述目標(biāo)候選子網(wǎng)絡(luò)對應(yīng)的訓(xùn)練誤差的步驟包括：

將所述訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)輸入更新后的主網(wǎng)絡(luò)，并更新訓(xùn)練次數(shù)；

在所述訓(xùn)練次數(shù)達(dá)到預(yù)設(shè)訓(xùn)練次數(shù)時，將訓(xùn)練后的更新后的主網(wǎng)絡(luò)，對應(yīng)的訓(xùn)練誤差作為所述目標(biāo)候選子網(wǎng)絡(luò)對應(yīng)的訓(xùn)練誤差；

在所述訓(xùn)練次數(shù)未達(dá)到預(yù)設(shè)訓(xùn)練次數(shù)時，將訓(xùn)練后的更新后的主網(wǎng)絡(luò)作為更新后的主網(wǎng)絡(luò)，并返回將所述訓(xùn)練數(shù)據(jù)以及驗證數(shù)據(jù)輸入更新后的主網(wǎng)絡(luò)，并更新訓(xùn)練次數(shù)的步驟。

進(jìn)一步地，所述基于各個所述訓(xùn)練誤差，在各個候選子網(wǎng)絡(luò)中確定最優(yōu)子網(wǎng)絡(luò)的步驟包括：

獲取各個候選子網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)對應(yīng)的懲罰系數(shù)；