[發明專利]意圖識別模型訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210307380.8
• 申請日: 2022-03-25
• 公開（公告）號: CN114661909A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 劉小康;李健銓;穆晶晶;胡加明
• 申請（專利權）人: 鼎富智能科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 馬澤偉

本申請提供一種意圖識別模型訓練方法、裝置、電子設備及存儲介質，該方法包括：獲取原始數據集；對原始數據集進行數據增強模擬，獲得模擬數據集，模擬數據集包括：多個類別的已知意圖文本和一個類別的未知意圖文本，其中，已知意圖文本與原始文本不存在邏輯沖突，未知意圖文本與原始文本存在邏輯沖突；從原始數據集和模擬數據集中篩選出多個正樣本文本和多個負樣本文本，正樣本文本的類別與負樣本文本的類別是不同的；使用多個正樣本文本和多個負樣本文本對文本分類神經網絡進行對比學習訓練，獲得訓練后的意圖識別模型，意圖識別模型用于識別文本的意圖類別。

技術領域

本申請涉及自然語言處理的技術領域，具體而言，涉及一種意圖識別模型訓練方法、裝置、電子設備及存儲介質。

背景技術

目前，通常使用基于神經網絡結構的文本分類模型識別出文本內容的意圖類別，從而獲得文本內容在語義上表達的意圖結果。然而，在具體實踐過程中發現，這些文本分類模型針對已經訓練過的意圖類別文本有較好的正確率，很難識別出沒有訓練過的未知意圖類別文本。

發明內容

本申請實施例的目的在于提供一種意圖識別模型訓練方法、裝置、電子設備及存儲介質，用于改善很難識別出沒有訓練過的未知意圖類別文本的問題。

第一方面，本申請實施例提供了一種意圖識別模型訓練方法，包括：獲取原始數據集，原始數據集包括：多個類別的原始文本，多個類別中的每個類別下均有多個原始文本；對原始數據集進行數據增強模擬，獲得模擬數據集，模擬數據集包括：多個類別的已知意圖文本和一個類別的未知意圖文本，其中，已知意圖的類別與原始文本的類別是對應的，已知意圖文本與原始文本不存在邏輯沖突，未知意圖文本與原始文本存在邏輯沖突；從原始數據集和模擬數據集中篩選出多個正樣本文本和多個負樣本文本，正樣本文本的類別與負樣本文本的類別是不同的；使用多個正樣本文本和多個負樣本文本對文本分類神經網絡進行對比學習訓練，獲得訓練后的意圖識別模型，意圖識別模型用于識別文本的意圖類別。在上述方案的實現過程中，通過使用包含未知意圖文本的模擬數據集來訓練意圖識別模型，且使用原始數據集和模擬數據集中篩選出正樣本文本和負樣本文本來訓練意圖識別模型，避免了傳統模型將未知意圖類別文本始終分類給已知意圖類別的情況，使得訓練出來的意圖識別模型有效地識別出未知意圖的文本類別，從而提高了訓練出來的意圖識別模型識別出未知意圖文本的正確率。

在第一方面的一種可選實現方式中，對原始數據集進行數據增強模擬，包括：對原始文本進行數據增強，獲得模擬出的變化文本；判斷原始文本與原始文本對應的變化文本是否存在邏輯沖突；若是，則將該變化文本確定為未知意圖文本，否則，將該變化文本確定為已知意圖文本，并將原始文本的類別標注為已知意圖的類別。

在上述方案的實現過程中，通過對原始文本進行數據增強，并根據原始文本與變化文本是否存在邏輯沖突來確定未知意圖文本，提高了模擬生成未知意圖文本的準確率，使得訓練出來的意圖識別模型有效地識別出未知意圖的文本類別，從而提高了訓練出來的意圖識別模型識別出未知意圖文本的正確率。

在第一方面的一種可選實現方式中，使用多個正樣本文本和多個負樣本文本對文本分類神經網絡進行對比學習訓練，包括：分別計算正樣本文本的表示向量和負樣本文本的表示向量；根據正樣本文本的表示向量和負樣本文本的表示向量確定文本分類神經網絡的對比學習目標損失值和分類學習目標損失值；根據對比學習目標損失值和分類學習目標損失值確定文本分類神經網絡的總損失值；根據文本分類神經網絡的總損失值更新意圖識別模型的模型參數，直到意圖識別模型滿足訓練終止條件。

在上述方案的實現過程中，通過對比學習方式來更新意圖識別模型的模型參數，使得同類數據樣本更加聚焦靠攏，不同類的數據樣本相互遠離，使得意圖識別模型在對比學習之后能夠達到更好的效果。