[發(fā)明專利]針對(duì)多任務(wù)模型的訓(xùn)練方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911203428.5
• 申請(qǐng)日: 2019-11-29
• 公開（公告）號(hào): CN110909145B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 張望舒;溫祖杰
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/35;G06F16/33
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種針對(duì)多任務(wù)模型的訓(xùn)練方法，所述多任務(wù)模型包括語義編碼層，針對(duì)搜索交互場(chǎng)景的搜索分類層，以及針對(duì)問答交互場(chǎng)景的問答分類層，所述方法包括：

獲取多個(gè)訓(xùn)練樣本，其中包括所述搜索交互場(chǎng)景下采集的若干搜索訓(xùn)練樣本和所述問答交互場(chǎng)景下采集的若干問答訓(xùn)練樣本，所述多個(gè)訓(xùn)練樣本中每個(gè)訓(xùn)練樣本至少包括用戶輸入文本和對(duì)應(yīng)的標(biāo)準(zhǔn)文本類別標(biāo)簽；

對(duì)于所述多個(gè)訓(xùn)練樣本中任意的第一樣本，至少將其中的用戶輸入文本輸入所述語義編碼層，得到語義向量，并且，將所述語義向量分別輸入所述搜索分類層和所述問答分類層；

當(dāng)所述第一樣本屬于所述若干搜索訓(xùn)練樣本時(shí)，基于所述搜索分類層輸出的分類結(jié)果和所述第一樣本中的標(biāo)準(zhǔn)文本類別標(biāo)簽，確定所述第一樣本對(duì)應(yīng)的預(yù)測(cè)損失；

當(dāng)所述第一樣本屬于所述若干問答訓(xùn)練樣本時(shí)，基于所述問答分類層輸出的分類結(jié)果和所述第一樣本中的標(biāo)準(zhǔn)文本類別標(biāo)簽，確定所述第一樣本對(duì)應(yīng)的預(yù)測(cè)損失；

基于所述多個(gè)訓(xùn)練樣本各自對(duì)應(yīng)的預(yù)測(cè)損失之和，調(diào)整所述多任務(wù)模型的參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，每個(gè)訓(xùn)練樣本中還包括業(yè)務(wù)代碼，用于指示在跳轉(zhuǎn)至用戶輸入文本的輸入界面之前顯示的界面所對(duì)應(yīng)的業(yè)務(wù)；所述至少將其中的用戶輸入文本輸入所述語義編碼層，包括：

將所述用戶輸入文本和所述業(yè)務(wù)代碼進(jìn)行拼接后，輸入所述語義編碼層。

3.一種針對(duì)多任務(wù)模型的訓(xùn)練方法，所述多任務(wù)模型包括語義編碼層，針對(duì)搜索交互場(chǎng)景的搜索關(guān)聯(lián)度預(yù)測(cè)層，以及針對(duì)問答交互場(chǎng)景的問答關(guān)聯(lián)度預(yù)測(cè)層，所述方法包括：

獲取多個(gè)訓(xùn)練樣本，其中包括所述搜索交互場(chǎng)景下采集的若干搜索訓(xùn)練樣本和所述問答交互場(chǎng)景下采集的若干問答訓(xùn)練樣本，所述多個(gè)訓(xùn)練樣本中每個(gè)訓(xùn)練樣本至少包括歷史文本對(duì)和對(duì)應(yīng)的文本關(guān)聯(lián)標(biāo)簽，所述歷史文本對(duì)包括用戶輸入文本和對(duì)應(yīng)的標(biāo)準(zhǔn)文本；

對(duì)于所述多個(gè)訓(xùn)練樣本中任意的第一樣本，至少將其中的歷史文本對(duì)輸入所述語義編碼層，得到語義向量，并且，將所述語義向量分別輸入所述搜索關(guān)聯(lián)度預(yù)測(cè)層和所述問答關(guān)聯(lián)度預(yù)測(cè)層；

當(dāng)所述第一樣本屬于所述若干搜索訓(xùn)練樣本時(shí)，至少基于所述搜索關(guān)聯(lián)度預(yù)測(cè)層輸出的預(yù)測(cè)結(jié)果和所述第一樣本中的文本關(guān)聯(lián)標(biāo)簽，確定與所述第一樣本相關(guān)的預(yù)測(cè)損失；

當(dāng)所述第一樣本屬于所述若干問答訓(xùn)練樣本時(shí)，基于所述問答關(guān)聯(lián)度預(yù)測(cè)層輸出的預(yù)測(cè)結(jié)果和所述第一樣本中的文本關(guān)聯(lián)標(biāo)簽，確定所述第一樣本相關(guān)的預(yù)測(cè)損失；

基于所述多個(gè)訓(xùn)練樣本各自相關(guān)的預(yù)測(cè)損失之和，調(diào)整所述多任務(wù)模型的參數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其中，每個(gè)訓(xùn)練樣本中還包括業(yè)務(wù)代碼，用于指示在跳轉(zhuǎn)至用戶輸入文本的輸入界面之前顯示的界面所對(duì)應(yīng)的業(yè)務(wù)；所述至少將其中的歷史文本對(duì)輸入所述語義編碼層，包括：

至少將所述歷史文本對(duì)和所述業(yè)務(wù)代碼組成的第一輸入序列，輸入所述語義編碼層。

5.根據(jù)權(quán)利要求4所述的方法，其中，至少將所述歷史文本對(duì)和所述業(yè)務(wù)代碼組成的第一輸入序列，輸入所述語義編碼層，包括：

基于預(yù)先設(shè)定的用于區(qū)分用戶輸入文本、標(biāo)準(zhǔn)文本和業(yè)務(wù)代碼的三種字符，確定與所述第一輸入序列對(duì)應(yīng)的第二輸入序列；

將所述第一輸入序列和所述第二輸入序列共同輸入所述語義編碼層。

6.根據(jù)權(quán)利要求3所述的方法，其中，所述文本關(guān)聯(lián)標(biāo)簽指示對(duì)應(yīng)的用戶輸入文本和標(biāo)準(zhǔn)文本之間是否相關(guān)聯(lián)。