[發明專利]模型訓練方法、裝置、設備與存儲介質

在審

• 申請號: 202111149870.1
• 申請日: 2021-09-29
• 公開（公告）號: CN113821623A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 嚴力
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06N3/04;G06N3/08;G06F40/35
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

本申請涉及人工智能技術領域，本申請提供一種模型訓練方法、裝置、設備與存儲介質，模型訓練方法包括：獲取輸入樣本，并根據輸入樣本構造第一樣本對和第二樣本對，第一樣本對包含輸入樣本和與輸入樣本關聯的正樣本，第二樣本對包含輸入樣本和與輸入樣本關聯的負樣本；將第一樣本對輸入第一模型，獲得輸入樣本與正樣本之間的第一相似度得分；將第二樣本對輸入第二模型，獲得輸入樣本與負樣本之間的第二相似度得分，第二模型與第一模型相同；計算第一相似度得分與第二相似度得分之間的得分差；若得分差不滿足目標條件，對第一模型和第二模型參數進行調整，直到得分差滿足目標條件。實施本申請，可以提高相似度匹配的準確性。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種模型訓練方法、裝置、設備與存儲介質。

背景技術

基于常見問題(frequently asked questions，FAQ)的問答系統通常采用檢索知識庫的方式來匹配客戶的問答。整個檢索過程通常分為兩個部分，分別是召回部分和排序部分。召回部分主要是將知識庫中可能的候選文本進行召回，縮小搜索范圍，為后面排序階段做準備。排序部分是將召回的候選文本輸入模型得到各個候選文本與待查詢文本的得分，從而將得分最高的候選文本所對應的回答文本作為待訓文本所對應的回答文本。目前對該模型進行訓練時，將兩個句子組成句子對輸入模型進行訓練，從而讓該模型學習兩個輸入的句子是否相似，這種方式只能讓模型學習到輸入的句子對中兩個句子是否相似的特征，從而導致所計算的得分準確性比較低。

發明內容

基于此，有必要針對上述技術問題，提供一種模型訓練方法、裝置、設備與存儲介質，不僅能夠讓模型學習到樣本對中兩個樣本是否相似的特征，還可以讓模型學習到樣本對之間的差異特征，從而提高模型計算相似度得分的準確性，以提高相似度匹配的準確性。

第一方面，本申請提供一種模型訓練方法，所述方法包括：

獲取輸入樣本，并根據所述輸入樣本構造第一樣本對和第二樣本對，所述第一樣本對包含所述輸入樣本和與所述輸入樣本關聯的正樣本，所述第二樣本對包含所述輸入樣本和與所述輸入樣本關聯的負樣本；

將所述第一樣本對輸入第一模型，獲得所述輸入樣本與所述正樣本之間的第一相似度得分；

將所述第二樣本對輸入第二模型，獲得所述輸入樣本與所述負樣本之間的第二相似度得分，所述第二模型與所述第一模型相同；

計算所述第一相似度得分與所述第二相似度得分之間的得分差；

若所述得分差不滿足目標條件，對所述第一模型和所述第二模型的參數進行調整，并從所述第一訓練集的剩余樣本中獲取輸入樣本，所述剩余樣本是所述第一訓練集中未被獲取的輸入樣本；根據從所述剩余樣本中獲取的輸入樣本構造第一樣本對和第二樣本對，直到所述得分差滿足所述目標條件，將參數調整后的第一模型或第二模型確定為訓練好的目標模型。

結合第一方面，在一些實施例中，所述正樣本與所述輸入樣本之間的語義相似度大于相似度閾值，所述負樣本與所述輸入樣本之間的語義相似度小于所述相似度閾值。

結合第一方面，在一些實施例中，若所述得分差不滿足目標條件，對所述第一模型和所述第二模型的參數進行調整之前，還包括：

通過邏輯回歸sigmoid函數將所述得分差進行歸一化，獲得歸一化函數值；

根據所述歸一化函數值與預設值之間的差異，確定所述得分差是否滿足目標條件。

結合第一方面，在一些實施例中，所述預設值為1；

所述根據所述歸一化函數值與預設值之間的差異，確定所述得分差是否滿足目標條件，包括：

根據所述歸一化函數值與1之間的差值，計算第一損失；

若所述第一損失大于或者等于第一閾值，則確定所述得分差不滿足目標條件；