[發明專利]針對多任務模型的訓練方法及裝置

有效

• 申請號: 201911203428.5
• 申請日: 2019-11-29
• 公開（公告）號: CN110909145B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 張望舒;溫祖杰
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F16/33
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種針對多任務模型的訓練方法，其中多任務模型包括語義編碼層，針對搜索交互場景的搜索輸出層以及針對問答交互場景的問答輸出層，其中訓練方法包括：首先，獲取搜索交互場景和問答交互場景下采集的多個訓練樣本；然后，對于其中任意的第一樣本，至少將其中的用戶輸入文本輸入語義編碼層，得到語義向量，并且，將語義向量分別輸入搜索輸出層和問答輸出層；進一步地，根據第一樣本所對應的采集場景，從對應場景的輸出層獲取預測結果，并結合第一樣本中的樣本標簽，確定所述第一樣本對應的預測損失；最后，基于多個訓練樣本各自對應的預測損失之和，調整所述多任務模型的參數。

技術領域

本說明書實施例涉及自然語言處理技術領域，具體地，涉及一種針對多任務模型的訓練方法及裝置。

背景技術

目前，有些智能客服系統包括問答系統和搜索系統。其中問答系統用于為用戶提供問答式服務，比如說，用戶可以在與機器人客服的會話界面中，針對其遇到的業務問題輸入描述語句，然后機器人客服根據描述語句確定對應的標準問題，并將確定出的標準問題和對應的解答方案提供給用戶。其中搜索系統用于為用戶提供搜索式服務，比如說，用戶可以在搜索框中輸入一些關鍵詞，然后搜索系統根據這些關鍵詞匹配出一些可能的標準問題，并以列表的形式提供給用戶，在用戶對其中某個標準問題進行確認的情況下，再將該某個標準問題對應的解答方案展示給用戶。

由上可知，對于問答系統和搜索系統而言，為將符合用戶需要的解答方案提供給用戶，精準確定用戶意圖，即用戶想要咨詢的標準問題十分重要。隨著機器學習的興起，可以通過建立機器學習模型實現對用戶意圖的確定。這就對問答系統和搜索系統中各自部署的機器學習模型的模型性能均提出了較高要求。

因此，迫切需要一種合理的方案，可以提高機器學習模型預測用戶意圖的準確度，同時，降低訓練機器學習模型時占用的訓練資源。

發明內容

本說明書一個或多個實施例描述一種針對多任務模型的訓練方法及裝置,可以實現不同任務中訓練數據的復用，同時降低模型訓練的成本和開銷。

根據第一方面，本說明實施例提供一種針對多任務模型的訓練方法，所述多任務模型包括語義編碼層，針對搜索交互場景的搜索分類層，以及針對問答交互場景的問答分類層，所述方法包括：獲取多個訓練樣本，其中包括所述搜索交互場景下采集的若干搜索訓練樣本和所述問答交互場景下采集的若干問答訓練樣本，所述多個訓練樣本中每個訓練樣本至少包括用戶輸入文本和對應的標準文本類別標簽；對于所述多個訓練樣本中任意的第一樣本，至少將其中的用戶輸入文本輸入所述語義編碼層，得到語義向量，并且，將所述語義向量分別輸入所述搜索分類層和所述問答分類層；當所述第一樣本屬于所述若干搜索訓練樣本時，基于所述搜索分類層輸出的分類結果和所述第一樣本中的標準文本類別標簽，確定所述第一樣本對應的預測損失；當所述第一樣本屬于所述若干問答訓練樣本時，基于所述問答分類層輸出的分類結果和所述第一樣本中的標準文本類別標簽，確定所述第一樣本對應的預測損失；基于所述多個訓練樣本各自對應的預測損失之和，調整所述多任務模型的參數。

在一個實施例中，每個訓練樣本中還包括業務代碼，用于指示在跳轉至用戶輸入文本的輸入界面之前顯示的界面所對應的業務；所述至少將其中的用戶輸入文本輸入所述語義編碼層，包括：將所述用戶輸入文本和所述業務代碼進行拼接后，輸入所述語義編碼層。