[發明專利]多任務模型的訓練方法及裝置

有效

• 申請號: 202010131419.6
• 申請日: 2020-02-28
• 公開（公告）號: CN111310848B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 彭爽;陳曉軍;崔恒斌
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/30
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 張明;周良玉

1.一種多任務模型的訓練方法，所述多任務模型包括文本編碼層、問答相關性分類層和答案選擇層；所述方法包括：

獲取訓練樣本集；所述訓練樣本集中的每個樣本包括由一個問題和多個歷史會話對組成的輸入文本、第一標簽和第二標簽，所述多個歷史會話對中的每個歷史會話對包括一個用戶問句和一個答案；所述第一標簽指示所述多個歷史會話對的多個答案中與所述問題相關性最高的答案；所述第二標簽指示可回答所述問題的內容在所述輸入文本中的真實位置；所述可回答所述問題的內容包含在所述多個答案的第i個答案中；

對于所述訓練樣本集中任意的第一訓練樣本，將其中的輸入文本輸入所述文本編碼層，得到所述輸入文本的文本向量；

從所述輸入文本的文本向量中確定出所述多個答案中各答案的語義向量；

將所述多個答案中各答案的語義向量輸入所述問答相關性分類層，通過所述問答相關性分類層的輸出得到第一預測結果；基于所述第一預測結果和所述第一標簽，確定第一預測損失；

將所述輸入文本的文本向量輸入所述答案選擇層，通過所述答案選擇層的輸出得到第二預測結果；基于所述第二預測結果和所述第二標簽，確定第二預測損失；

基于所述訓練樣本集中各樣本的第一預測損失與第二預測損失的融合結果，調整所述多任務模型的參數。

2.根據權利要求1所述的方法，所述第一預測結果包括所述問題與所述多個答案中各答案的預測相關性得分；

所述基于所述第一預測結果和所述第一標簽，確定第一預測損失，包括：

基于所述第一標簽，確定所述問題與所述多個答案中各答案的真實相關性得分；

計算所述真實相關性得分與所述預測相關性得分之間的交叉熵；

將計算得到的交叉熵作為所述第一預測損失。

3.根據權利要求1所述的方法，所述第二標簽的個數為兩個，其中，一個第二標簽指示可回答所述問題的內容在所述輸入文本中的真實開始位置，另一個第二標簽指示可回答所述問題的內容在所述輸入文本中的真實結束位置；所述第二預測結果包括預測開始位置和預測結束位置；

所述基于所述第二預測結果和所述第二標簽，確定第二預測損失，包括：

計算所述一個第二標簽與所述預測開始位置之間的第一交叉熵，并計算所述另一個第二標簽與所述預測結束位置之間的第二交叉熵；

對所述第一交叉熵和所述第二交叉熵求平均，將求平均結果作為所述第二預測損失。

4.根據權利要求1所述的方法，所述將其中的輸入文本輸入所述文本編碼層，得到所述輸入文本的文本向量，包括：

向所述輸入文本中添加用于標識所述多個歷史會話對中各答案的多個特殊符號；

將添加所述特殊符號后的所述輸入文本輸入所述文本編碼層，得到所述輸入文本的文本向量，所述文本向量至少包含所述多個特殊符號各自的編碼向量；

所述從所述輸入文本的文本向量中確定出所述多個答案中各答案的語義向量，包括：

對于所述多個答案中任意的第一答案，將所述多個特殊符號中用于標識所述第一答案的第一特殊符號的編碼向量作為所述第一答案的語義向量。

5.根據權利要求1所述的方法，所述第一預測結果包括所述問題與所述多個答案中各答案的預測相關性得分；所述問答相關性分類層包括多個二分類分類器；

所述將所述多個答案中各答案的語義向量輸入所述問答相關性分類層，通過所述問答相關性分類層的輸出得到第一預測結果，包括：

將所述多個答案中各答案的語義向量輸入相應的所述多個二分類分類器，通過所述多個二分類分類器的輸出，得到所述問題與所述多個答案中各答案的預測相關性得分。

6.根據權利要求5所述的方法，其中，每個二分類分類器包括一個全連接層和一個softmax層。