[發(fā)明專利]一種多任務(wù)學(xué)習(xí)模型訓(xùn)練的方法及相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 201910533352.6
• 申請日: 2019-06-19
• 公開（公告）號: CN112116095A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 黃海兵;龐帥;張揚(yáng)
• 申請（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 朱靜

本申請公開了一種多任務(wù)學(xué)習(xí)模型訓(xùn)練的方法及相關(guān)裝置，該方法包括：相互關(guān)聯(lián)的多個目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)輸入多任務(wù)深度神經(jīng)網(wǎng)絡(luò)中多個深度神經(jīng)網(wǎng)絡(luò)共享的編碼層獲得訓(xùn)練數(shù)據(jù)的語句向量；根據(jù)訓(xùn)練數(shù)據(jù)的目標(biāo)任務(wù)標(biāo)識將訓(xùn)練數(shù)據(jù)的語句向量輸入對應(yīng)的深度神經(jīng)網(wǎng)絡(luò)的解碼層獲得訓(xùn)練數(shù)據(jù)的訓(xùn)練結(jié)果；基于訓(xùn)練數(shù)據(jù)的訓(xùn)練結(jié)果、訓(xùn)練數(shù)據(jù)的標(biāo)記結(jié)果訓(xùn)練多任務(wù)深度神經(jīng)網(wǎng)絡(luò)獲得目標(biāo)多任務(wù)學(xué)習(xí)模型。可見，采用多任務(wù)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行多個目標(biāo)任務(wù)的機(jī)器學(xué)習(xí)，多個目標(biāo)任務(wù)之間相互幫助、共同學(xué)習(xí)，充分挖掘多個目標(biāo)任務(wù)之間豐富的關(guān)聯(lián)信息，大大提升模型的泛化效果，避免模型出現(xiàn)過擬合現(xiàn)象；且多任務(wù)學(xué)習(xí)集中部署減少機(jī)器資源消耗，降低機(jī)器成本。

技術(shù)領(lǐng)域

本申請涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種多任務(wù)學(xué)習(xí)模型訓(xùn)練的方法及相關(guān)裝置。

背景技術(shù)

隨著科技的快速發(fā)展，機(jī)器學(xué)習(xí)應(yīng)用于各個領(lǐng)域，例如，輸入法領(lǐng)域。一般地，機(jī)器學(xué)習(xí)應(yīng)用于輸入法領(lǐng)域是單任務(wù)學(xué)習(xí)，即，一次機(jī)器學(xué)習(xí)只學(xué)習(xí)一個單獨的任務(wù)。例如，輸入法領(lǐng)域中輸入聯(lián)想、智能回復(fù)或智能糾錯等是一個單獨的輸入法功能，每個輸入法功能被當(dāng)作一個單獨的任務(wù)進(jìn)行機(jī)器學(xué)習(xí)，即，輸入聯(lián)想任務(wù)、智能回復(fù)任務(wù)或智能糾錯任務(wù)等均是單任務(wù)學(xué)習(xí)。

但是，發(fā)明人經(jīng)過研究發(fā)現(xiàn)，輸入法領(lǐng)域中某些當(dāng)作單獨的任務(wù)的輸入法功能之間存在關(guān)聯(lián)性，例如，輸入聯(lián)想、智能回復(fù)和智能糾錯等均是基于歷史輸入內(nèi)容進(jìn)行推薦的輸入法功能，則輸入聯(lián)想任務(wù)、智能回復(fù)任務(wù)和智能糾錯任務(wù)等這些任務(wù)是相互關(guān)聯(lián)的任務(wù)。相互關(guān)聯(lián)的任務(wù)分別進(jìn)行單任務(wù)學(xué)習(xí)，往往忽略了這些任務(wù)之間豐富的關(guān)聯(lián)信息，影響單任務(wù)學(xué)習(xí)得到的模型泛化效果，導(dǎo)致單任務(wù)學(xué)習(xí)得到的模型容易過擬合；且任務(wù)部署時單獨的任務(wù)需要單獨部署在單臺機(jī)器上，單獨的任務(wù)較多時需消耗較多機(jī)器資源，機(jī)器成本過高。

發(fā)明內(nèi)容

本申請所要解決的技術(shù)問題是，提供一種多任務(wù)學(xué)習(xí)模型訓(xùn)練的方法及相關(guān)裝置，充分挖掘多個目標(biāo)任務(wù)之間豐富的關(guān)聯(lián)信息，大大提升模型的泛化效果，避免模型出現(xiàn)過擬合現(xiàn)象；且多任務(wù)學(xué)習(xí)集中部署減少機(jī)器資源消耗，降低機(jī)器成本。

第一方面，本申請實施例提供了一種多任務(wù)學(xué)習(xí)模型訓(xùn)練的方法，應(yīng)用于安裝輸入法應(yīng)用程序的設(shè)備，該方法包括：

將相互關(guān)聯(lián)的多個目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)輸入多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的共享編碼層獲得所述訓(xùn)練數(shù)據(jù)的語句向量，所述共享編碼層是指所述多任務(wù)深度神經(jīng)網(wǎng)絡(luò)中多個深度神經(jīng)網(wǎng)絡(luò)共享的編碼層；

基于所述訓(xùn)練數(shù)據(jù)的目標(biāo)任務(wù)標(biāo)識將所述訓(xùn)練數(shù)據(jù)的語句向量輸入對應(yīng)的深度神經(jīng)網(wǎng)絡(luò)的解碼層獲得所述訓(xùn)練數(shù)據(jù)的訓(xùn)練結(jié)果；

基于所述訓(xùn)練數(shù)據(jù)的訓(xùn)練結(jié)果、所述訓(xùn)練數(shù)據(jù)的標(biāo)記結(jié)果訓(xùn)練所述多任務(wù)深度神經(jīng)網(wǎng)絡(luò)獲得目標(biāo)多任務(wù)學(xué)習(xí)模型。

可選的，所述共享編碼層包括共享詞向量層和共享語句向量層，所述將相互關(guān)聯(lián)的多個目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)輸入多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的共享編碼層獲得所述訓(xùn)練數(shù)據(jù)的語句向量，包括：

將所述多個目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)輸入所述多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的共享詞向量層獲得所述訓(xùn)練數(shù)據(jù)對應(yīng)的詞向量；

將所述訓(xùn)練數(shù)據(jù)對應(yīng)的詞向量輸入所述多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的共享語句向量層獲得所述訓(xùn)練數(shù)據(jù)的語句向量。

可選的，所述訓(xùn)練的方法包括深度學(xué)習(xí)反向傳播算法和Adam優(yōu)化算法。

可選的，所述基于所述訓(xùn)練數(shù)據(jù)的訓(xùn)練結(jié)果、所述訓(xùn)練數(shù)據(jù)的標(biāo)記結(jié)果訓(xùn)練所述多任務(wù)深度神經(jīng)網(wǎng)絡(luò)獲得目標(biāo)多任務(wù)學(xué)習(xí)模型，包括：

基于所述訓(xùn)練數(shù)據(jù)的訓(xùn)練結(jié)果、所述訓(xùn)練數(shù)據(jù)的標(biāo)記結(jié)果獲得對應(yīng)的深度神經(jīng)網(wǎng)絡(luò)的損失函數(shù)；

根據(jù)所述損失函數(shù)更新所述多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)獲得所述目標(biāo)多任務(wù)學(xué)習(xí)模型。