[發(fā)明專利]意圖識(shí)別模型訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210307380.8
• 申請(qǐng)日: 2022-03-25
• 公開（公告）號(hào): CN114661909A
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計(jì)）人: 劉小康;李健銓;穆晶晶;胡加明
• 申請(qǐng)（專利權(quán)）人: 鼎富智能科技有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06K9/62;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 馬澤偉

1.一種意圖識(shí)別模型訓(xùn)練方法，其特征在于，包括：

獲取原始數(shù)據(jù)集，所述原始數(shù)據(jù)集包括：多個(gè)類別的原始文本，所述多個(gè)類別中的每個(gè)類別下均有多個(gè)原始文本；

對(duì)所述原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)模擬，獲得模擬數(shù)據(jù)集，所述模擬數(shù)據(jù)集包括：多個(gè)類別的已知意圖文本和一個(gè)類別的未知意圖文本，其中，所述已知意圖的類別與所述原始文本的類別是對(duì)應(yīng)的，所述已知意圖文本與所述原始文本不存在邏輯沖突，所述未知意圖文本與所述原始文本存在邏輯沖突；

從所述原始數(shù)據(jù)集和所述模擬數(shù)據(jù)集中篩選出多個(gè)正樣本文本和多個(gè)負(fù)樣本文本，所述正樣本文本的類別與所述負(fù)樣本文本的類別是不同的；

使用所述多個(gè)正樣本文本和所述多個(gè)負(fù)樣本文本對(duì)文本分類神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比學(xué)習(xí)訓(xùn)練，獲得訓(xùn)練后的意圖識(shí)別模型，所述意圖識(shí)別模型用于識(shí)別文本的意圖類別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)模擬，包括：

對(duì)所述原始文本進(jìn)行數(shù)據(jù)增強(qiáng)，獲得模擬出的變化文本；

判斷所述原始文本與所述原始文本對(duì)應(yīng)的變化文本是否存在邏輯沖突；

若是，則將該變化文本確定為所述未知意圖文本，否則，將該變化文本確定為所述已知意圖文本，并將所述原始文本的類別標(biāo)注為所述已知意圖的類別。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述使用所述多個(gè)正樣本文本和所述多個(gè)負(fù)樣本文本對(duì)文本分類神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比學(xué)習(xí)訓(xùn)練，包括：

分別計(jì)算所述正樣本文本的表示向量和所述負(fù)樣本文本的表示向量；

根據(jù)所述正樣本文本的表示向量和所述負(fù)樣本文本的表示向量確定所述文本分類神經(jīng)網(wǎng)絡(luò)的對(duì)比學(xué)習(xí)目標(biāo)損失值和分類學(xué)習(xí)目標(biāo)損失值；

根據(jù)所述對(duì)比學(xué)習(xí)目標(biāo)損失值和所述分類學(xué)習(xí)目標(biāo)損失值確定所述文本分類神經(jīng)網(wǎng)絡(luò)的總損失值；

根據(jù)所述文本分類神經(jīng)網(wǎng)絡(luò)的總損失值更新所述意圖識(shí)別模型的模型參數(shù)，直到所述意圖識(shí)別模型滿足訓(xùn)練終止條件。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述分別計(jì)算所述正樣本文本的表示向量和所述負(fù)樣本文本的表示向量之后，還包括：

根據(jù)所述正樣本文本的表示向量和所述負(fù)樣本文本的表示向量確定在所述意圖識(shí)別模型中決策邊界的損失值，所述決策邊界是以正樣本文本的目標(biāo)類別在所述意圖識(shí)別模型中的決策中心向量為圓中心點(diǎn)，以所述目標(biāo)類別在所述意圖識(shí)別模型中的決策半徑為圓半徑的圓形，所述決策中心向量是所述意圖識(shí)別模型計(jì)算出所述目標(biāo)類別的所有文本表示向量的向量均值；

根據(jù)所述決策邊界的損失值更新所述意圖識(shí)別模型的模型參數(shù)，直到所述意圖識(shí)別模型滿足訓(xùn)練終止條件，所述模型參數(shù)包括：所述目標(biāo)類別在所述意圖識(shí)別模型中的決策半徑。

5.根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，在所述獲得訓(xùn)練后的意圖識(shí)別模型之后，還包括：

獲取待處理文本；

使用所述訓(xùn)練后的意圖識(shí)別模型識(shí)別出所述待處理文本的意圖類別。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述使用所述訓(xùn)練后的意圖識(shí)別模型識(shí)別出所述待處理文本的意圖類別，包括：

使用所述訓(xùn)練后的意圖識(shí)別模型計(jì)算所述待處理文本的文本表示向量，并計(jì)算所述待處理文本的文本表示向量與所述意圖識(shí)別模型中每個(gè)類別對(duì)應(yīng)的決策中心向量之間的向量距離，獲得多個(gè)向量距離；

判斷所述多個(gè)向量距離中的最小向量距離對(duì)應(yīng)類別是否是未知意圖類別；

若是，則將所述待處理文本的意圖類別確定為未知意圖類別。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述判斷所述多個(gè)向量距離中的最小向量距離對(duì)應(yīng)類別是否是未知意圖類別之后，還包括：

若所述多個(gè)向量距離中的最小向量距離對(duì)應(yīng)類別不是未知意圖類別，且所述多個(gè)向量距離中的最小向量距離大于該最小向量距離對(duì)應(yīng)類別的決策半徑，則將所述待處理文本的意圖類別確定為未知意圖類別；

若所述多個(gè)向量距離中的最小向量距離對(duì)應(yīng)類別不是未知意圖類別，且所述多個(gè)向量距離中的最小向量距離小于該最小向量距離對(duì)應(yīng)類別的決策半徑，則將所述待處理文本的意圖類別確定為該最小向量距離對(duì)應(yīng)的已知意圖類別。