[發明專利]語義匹配模型訓練方法、裝置、設備及存儲介質

有效

• 申請號: 202110688539.0
• 申請日: 2021-06-21
• 公開（公告）號: CN113239176B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 陸林炳;劉志慧;金培根;林加新;李炫
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/194;G06F40/289;G06F40/30;G06N3/08
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 吳英銘

本發明涉及預測模型領域，公開了一種語義匹配模型訓練方法、裝置、設備及存儲介質，其方法包括：獲取問題對樣本集；通過教師模型對問題對樣本中的標準問題和相似問題進行相似度計算，獲得第一相似度；將共享參數輸入學生模型的學生輸出層中，使學生模型初始化；通過學生模型對標準問題和相似問題進行相似度計算，獲得第二相似度；根據第一相似度、第二相似度、教師隱藏向量和學生隱藏層向量確定總損失值；在更新總損失值滿足預設的收斂條件時，將滿足預設的收斂條件的更新總損失值對應的學生模型確定為語義匹配模型。本發明提高了模型的學習能力，也提高了問題匹配的準確性和質量。

技術領域

本發明涉及預測模型領域，尤其涉及一種語義匹配模型訓練方法、裝置、設備及存儲介質。

背景技術

隨著智能技術的不斷發展，越來越多的業務場景使用AI問答系統來替代人工問答。

目前，語義模型被廣泛地應用于AI問答系統中，然而，隨著網絡信息的迅速發展，需要處理的語料數據越來越多，且對語料數據處理的準確度和速度的要求也日益提高。大規模的語義模型在自然語言理解和生成任務上都取得了優異的性能，然而，將具有海量參數的語義模型部署到內存有限的設備中仍然面臨巨大挑戰。在現有的模型壓縮領域中，學生模型只對教師模型的最終結果進行學習，損失了教師模型對問題對預測的大量信息，導致學生模型的準確率低和學習能力弱的技術問題。

發明內容

基于此，有必要針對上述技術問題，提供一種語義匹配模型訓練方法、裝置、計算機設備及存儲介質，以解決學生模型只對教師模型的最終結果進行學習，損失了教師模型對問題對預測的大量信息，導致學生模型的準確率低和學習能力弱的技術問題。

一種語義匹配模型訓練方法，包括：

獲取問題對樣本集；所述問題對樣本集包括多個從專家領域知識庫中獲得的問題對樣本；一個所述問題對樣本包括一個標準問題和一個相似問題；

通過教師模型對所述問題對樣本中的標準問題和相似問題進行相似度計算，獲得第一相似度；所述教師模型包含教師隱藏層和教師輸出層；所述教師隱藏層用于將所述問題對樣本處理為教師隱藏向量；所述教師輸出層包含共享參數；

將所述共享參數輸入學生模型的學生輸出層中，使所述學生模型初始化；

將所述標準問題、所述相似問題、所述第一相似度和所述教師隱藏向量輸入含有所述共享參數的學生模型中進行訓練；

通過所述學生模型對所述標準問題和所述相似問題進行相似度計算，獲得第二相似度；所述語義識別學生模型包含學生隱藏層；所述學生隱藏層包含學生隱藏向量；

根據所述第一相似度、所述第二相似度、所述教師隱藏向量和所述學生隱藏層向量確定總損失值；

在所述總損失值未滿足預設的收斂條件時，運用反向傳播方法迭代更新所述學生模型，并計算迭代更新后所述學生模型的更新總損失值；

在所述更新總損失值滿足預設的收斂條件時，將滿足預設的收斂條件的更新總損失值對應的學生模型確定為語義匹配模型。

一種語義匹配模型訓練裝置，包括：

問題對獲取模塊，用于獲取問題對樣本集；所述問題對樣本集包括多個從專家領域知識庫中獲得的問題對樣本；一個所述問題對樣本包括一個標準問題和一個相似問題；

第一相似度模塊，用于通過教師模型對所述問題對樣本中的標準問題和相似問題進行相似度計算，獲得第一相似度；所述教師模型包含教師隱藏層和教師輸出層；所述教師隱藏層用于將所述問題對樣本處理為教師隱藏向量；所述教師輸出層包含共享參數；

初始化模塊，用于將所述共享參數輸入學生模型的學生輸出層中，使所述學生模型初始化；