[發明專利]文本意圖分類的方法、裝置和可讀介質

在審

• 申請號: 202110265003.8
• 申請日: 2021-03-11
• 公開（公告）號: CN112905795A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 陶民澤
• 申請（專利權）人: 證通股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/295;G06N3/04;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李湘;姜冰

1.一種用于生成文本意圖分類器的方法，其特征在于，包含下列步驟：

獲得訓練數據集，所述訓練數據集包含多個文本樣本，每個文本樣本包含一個或多個句子；

利用所述訓練數據集對第一神經網絡模型進行預訓練以改善所述第一神經網絡模型與關聯于所述訓練數據集的應用領域之間的適配性，其中，所述第一神經網絡模型配置為對文本樣本中的句子進行語義分類以得到該文本樣本的特征向量；

由經過預訓練的第一神經網絡模型生成第二神經網絡模型，其中，第二神經網絡模型的層數少于經過預訓練的第一神經網絡模型的層數；以及

將所述第二神經網絡模型連接到輸出層以生成文本意圖分類器。

2.如權利要求1所述的方法，其中，獲得訓練數據集的步驟包括：

輸入原始訓練數據集；以及

對所述原始訓練數據集中的文本樣本進行預處理以生成所述訓練數據集中的文本樣本，所述預處理包括文本清洗和去除停用詞。

3.如權利要求1所述的方法，其中，所述第一神經網絡模型為下列模型中的一種：BERT模型、XLNET模型和ALBERT模型。

4.如權利要求2或3所述的方法，其中，利用所述訓練數據集對第一神經網絡模型進行預訓練的步驟包括：

對文本樣本中所包含的句子進行分詞處理；

對所劃分的單詞進行命名實體識別；以及

利用掩碼語言模型來對所述第一神經網絡模型進行微調以得到經過預訓練的第一神經網絡模型，其中，掩碼語言模型中被隨機遮罩的對象為經命名實體識別的單詞。

5.如權利要求1所述的方法，其中，通過知識蒸餾方法由經過預訓練的第一神經網絡模型生成第二神經網絡模型。

6.如權利要求5所述的方法，其中，由經過預訓練的第一神經網絡模型生成第二神經網絡模型的步驟包括：

從經過預訓練的第一神經網絡模型中抽取一部分的層以構建精簡的神經網絡模型；以及

利用經過預訓練的第一神經網絡模型對精簡的神經網絡模型進行訓練以得到所述第二神經網絡模型。

7.如權利要求6所述的方法，其中，在對精簡的神經網絡模型進行訓練時采用下列損失函數L_PT：

。

8.如權利要求1所述的方法，其中，所述輸出層包含softmax映射器。

9.一種用于生成文本意圖分類器的裝置，包括：

存儲器；

處理器；以及

存儲在所述存儲器上并可在所述處理器上運行以執行如權利要求1-8中任意一項所述的方法中的步驟的計算機程序。

10.一種用于對文本意圖進行分類的方法，其特征在于，包含下列步驟：

輸入文本；以及

利用由如權利要求1-8中任意一項所述的方法生成的文本意圖分類器來確定所輸入文本的類別。

11.如權利要求10所述的方法，其中，確定所輸入文本的類別的步驟包括：

利用第二神經網絡模型對所輸入文本中的句子進行語義分類以得到所輸入文本的特征向量；

利用輸出層，由所輸入文本的特征向量確定所輸入文本屬于各個類別的概率值；以及

將所輸入文本確定為屬于最大概率值所對應的類別。