[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型的融合訓(xùn)練方法及裝置

有效

• 申請?zhí)枺?/td>: 202010131424.7
• 申請日: 2020-02-28
• 公開（公告）號: CN111291886B
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計）人: 蔣亮;溫祖杰;梁忠平;張家興
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種神經(jīng)網(wǎng)絡(luò)模型的融合訓(xùn)練方法及裝置。通過神經(jīng)網(wǎng)絡(luò)模型的模型訓(xùn)練過程包括若干訓(xùn)練周期，每個訓(xùn)練周期對應(yīng)于使用訓(xùn)練樣本集中所有樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練的過程，神經(jīng)網(wǎng)絡(luò)模型用于對輸入的業(yè)務(wù)數(shù)據(jù)進(jìn)行業(yè)務(wù)預(yù)測。在當(dāng)前的第一訓(xùn)練周期中，當(dāng)?shù)谝挥?xùn)練周期不是第一個訓(xùn)練周期時，基于第一訓(xùn)練周期之前的訓(xùn)練周期訓(xùn)練結(jié)束時得到的神經(jīng)網(wǎng)絡(luò)模型對第一樣本數(shù)據(jù)的預(yù)測數(shù)據(jù)的累積，而得到的第一目標(biāo)預(yù)測數(shù)據(jù)，即根據(jù)第一目標(biāo)預(yù)測數(shù)據(jù)對待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程進(jìn)行調(diào)整，更新待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

技術(shù)領(lǐng)域

本說明書一個或多個實施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)模型的融合訓(xùn)練方法及裝置。

背景技術(shù)

深度學(xué)習(xí)在計算機(jī)視覺、自然語言處理領(lǐng)域都取得了遠(yuǎn)超傳統(tǒng)方法的效果，現(xiàn)在已經(jīng)成為人工智能領(lǐng)域非常主流的方法。通常來講，神經(jīng)網(wǎng)絡(luò)的深度越深，期望的預(yù)測效果越好。在對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時，可以采集大量的文本、圖像、視頻等樣本數(shù)據(jù)，并依據(jù)針對樣本數(shù)據(jù)標(biāo)注的標(biāo)簽，對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以使得神經(jīng)網(wǎng)絡(luò)模型對輸入數(shù)據(jù)的預(yù)測結(jié)果與標(biāo)注的標(biāo)簽逐漸接近。

因此，希望能有改進(jìn)的方案，可以提高神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的有效性，在使用神經(jīng)網(wǎng)絡(luò)模型對業(yè)務(wù)數(shù)據(jù)進(jìn)行業(yè)務(wù)預(yù)測時可以提高業(yè)務(wù)預(yù)測的準(zhǔn)確性。

發(fā)明內(nèi)容

本說明書一個或多個實施例描述了神經(jīng)網(wǎng)絡(luò)模型的融合訓(xùn)練方法及裝置，可以提高神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的有效性，進(jìn)而使得神經(jīng)網(wǎng)絡(luò)模型對業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)預(yù)測更準(zhǔn)確。具體的技術(shù)方案如下。

第一方面，實施例提供了一種神經(jīng)網(wǎng)絡(luò)模型的融合訓(xùn)練方法，通過計算機(jī)執(zhí)行，所述神經(jīng)網(wǎng)絡(luò)模型的模型訓(xùn)練過程包括若干訓(xùn)練周期，每個訓(xùn)練周期對應(yīng)于使用訓(xùn)練樣本集中所有樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練的過程；所述神經(jīng)網(wǎng)絡(luò)模型用于對輸入的業(yè)務(wù)數(shù)據(jù)進(jìn)行業(yè)務(wù)預(yù)測，所述方法包括：

獲取當(dāng)前的第一訓(xùn)練周期的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

獲取所述訓(xùn)練樣本集中的第一樣本數(shù)據(jù)和對應(yīng)的第一標(biāo)注數(shù)據(jù)，將所述第一樣本數(shù)據(jù)輸入所述待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，并得到所述第一樣本數(shù)據(jù)的第一預(yù)測數(shù)據(jù)；

當(dāng)所述第一訓(xùn)練周期不是第一個訓(xùn)練周期時，獲取針對所述第一樣本數(shù)據(jù)的第一目標(biāo)預(yù)測數(shù)據(jù)；其中，所述第一目標(biāo)預(yù)測數(shù)據(jù)基于對第一歷史預(yù)測數(shù)據(jù)的累積而得到，所述第一歷史預(yù)測數(shù)據(jù)包括所述第一訓(xùn)練周期之前的訓(xùn)練周期訓(xùn)練結(jié)束時得到的神經(jīng)網(wǎng)絡(luò)模型對所述第一樣本數(shù)據(jù)的預(yù)測數(shù)據(jù)；

根據(jù)所述第一標(biāo)注數(shù)據(jù)和所述第一目標(biāo)預(yù)測數(shù)據(jù)分別與所述第一預(yù)測數(shù)據(jù)之間的比較，確定第一預(yù)測損失；

向使得所述第一預(yù)測損失減小的方向，更新所述待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

在一種實施方式中，該方法還包括：

檢測所述第一樣本數(shù)據(jù)是否為所述訓(xùn)練樣本集中的最后一個樣本數(shù)據(jù)；

如果是，則將更新后的待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型確定為所述第一訓(xùn)練周期訓(xùn)練結(jié)束時得到的第一神經(jīng)網(wǎng)絡(luò)模型。

在一種實施方式中，該方法還包括：

將所述第一樣本數(shù)據(jù)輸入所述第一神經(jīng)網(wǎng)絡(luò)模型，得到第三預(yù)測數(shù)據(jù)；

將所述第三預(yù)測數(shù)據(jù)與所述第一目標(biāo)預(yù)測數(shù)據(jù)融合，得到下一訓(xùn)練周期時針對所述第一樣本數(shù)據(jù)的目標(biāo)預(yù)測數(shù)據(jù)。

在一種實施方式中，該方法還包括：

當(dāng)所述第一訓(xùn)練周期是第一個訓(xùn)練周期時，直接根據(jù)所述第一標(biāo)注數(shù)據(jù)和所述第一預(yù)測數(shù)據(jù)之間的比較，確定第二預(yù)測損失；

向使得所述第二預(yù)測損失減小的方向，更新所述待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

在一種實施方式中，所述獲取針對所述第一樣本數(shù)據(jù)的第一目標(biāo)預(yù)測數(shù)據(jù)的步驟，包括：