[發明專利]文本分類模型的訓練方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010621817.6
• 申請日: 2020-06-30
• 公開（公告）號: CN111767400A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 于溦
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝

1.一種文本分類模型的訓練方法，其特征在于，包括以下步驟：

接收到訓練指令時，從業務領域中的文本對應的分類類別中選取預設數量的目標類別；

針對每個所述目標類別，分別從訓練集中隨機抽取多個訓練樣本組成支持集；

將所述支持集中的每個訓練樣本輸入至文本分類模型中，提取所述訓練樣本的類別所對應的類向量；其中，所述文本分類模型包括雙向LSTM模型以及attention機制；

將所述訓練集中除支持集之外的樣本組成查詢集，并將所述查詢集中的每個查詢樣本輸入至所述文本分類模型中，提取每個所述查詢樣本對應的查詢向量；

計算每個所述查詢向量與每個所述訓練樣本的類別所對應的類向量之間的距離，并基于所述距離計算得到所述訓練樣本的類別與所述查詢樣本的類別之間的關系得分模型；

使用均方誤差作為損失函數訓練所述文本分類模型以及所述關系得分模型。

2.根據權利要求1所述的文本分類模型的訓練方法，其特征在于，所述提取所述訓練樣本的類別所對應的類向量的步驟，包括：

基于所述雙向LSTM模型，提取所述訓練樣本對應的隱藏狀態序列；

基于所述attention機制，對所述訓練樣本對應的隱藏狀態序列進行self-attention處理，得到所述訓練樣本對應的表征向量；

基于動態路由方法，構建所述訓練樣本的表征向量對應的類向量，作為所述訓練樣本的類別所對應的類向量。

3.根據權利要求2所述的文本分類模型的訓練方法，其特征在于，所述基于動態路由方法，構建所述表征向量對應的類向量的步驟，包括：

獲取所有類別共享的隨機初始化矩陣，并基于所述隨機初始化矩陣對每個所述表征向量進行仿射變換；

對所述表征向量的動態路由值進行歸一化處理，并基于所述動態路由值，對仿射變換后的每個所述表征向量進行加權求和，得到每個類別的表征向量；

基于squash函數計算得到每個類別的表征向量所對應的類向量。

4.根據權利要求1所述的文本分類模型的訓練方法，其特征在于，所述使用均方誤差作為損失函數訓練所述文本分類模型以及所述關系得分模型的步驟之后，包括：

接收到對待分類文本的分類請求時，將所述待分類文本輸入至訓練后的所述文本分類模型中，以提取所述待分類文本對應的第一類向量；

分別計算所述第一類向量與所述訓練樣本的類別所對應的類向量的第一距離；

基于所述第一距離以及訓練后的所述關系得分模型，確定所述待分類文本的分類結果。

5.根據權利要求1所述的文本分類模型的訓練方法，其特征在于，所述提取每個所述查詢樣本對應的查詢向量的步驟，包括：

基于所述雙向LSTM模型，提取所述查詢樣本對應的隱藏狀態序列；

基于所述attention機制，對所述查詢樣本對應的隱藏狀態序列進行self-attention處理，得到所述查詢樣本對應的表征向量；

基于動態路由方法，構建所述查詢樣本的表征向量對應的查詢向量。

6.根據權利要求1所述的文本分類模型的訓練方法，其特征在于，每個所述查詢向量與每個所述訓練樣本的類別所對應的類向量之間的距離的計算公式為：

其中，c_i為類向量，e^q為查詢向量，c_i^T為c_i的轉置，M是一個神經張量的切片，函數f使用RELU函數。

7.根據權利要求1所述的文本分類模型的訓練方法，其特征在于，所述從業務領域中的文本對應的分類類別中選取預設數量的目標類別的步驟，包括：

獲取所述業務領域中的文本對應的分類類別的總數量；

獲取文本分類模型所在終端設備的處理器處理速率；

根據所述處理速率以及所述總數量，確定所述預設數量，并從業務領域中的文本對應的分類類別中選取所述預設數量的目標類別。