[發明專利]文本向量表征模型的訓練和文本聚類

有效

• 申請號: 202110862902.6
• 申請日: 2021-07-29
• 公開（公告）號: CN113553858B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 尚航;呂廷迅
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F18/23;G06F18/22
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 田碩;蘇銀虹

本公開關于一種文本向量表征模型的訓練方法和裝置及文本聚類方法和裝置。所述訓練方法包括：獲取文本樣本；將文本樣本轉換為第一文本輸入矩陣和經過掩碼處理后的第二文本輸入矩陣；將第一文本輸入矩陣輸入至所述文本向量表征模型，以獲取第一文本向量表征；將第二文本輸入矩陣輸入至輔助文本向量表征模型，以獲取第二文本向量表征；根據第一文本向量表征與第二文本向量表征之間的相似度損失值來更新所述文本向量表征模型的參數，以對所述文本向量表征模型進行訓練。

技術領域

本公開涉及自然語言處理(NLP)技術領域，更具體地說，涉及一種文本向量表征模型的訓練方法和裝置及文本聚類方法和裝置。

背景技術

通常利用文本樣本(例如，海量的商品標題)對傳統的自然語言處理(NLP)模型進行訓練，然后利用訓練后的NLP模型獲取輸入文本的文本向量表征，但是，通常訓練得到的NLP模型的實際應用效果欠佳。例如，通過傳統的NLP模型獲取的文本向量表征的整體數據噪點偏高，文本向量表征的準確率和召回率整體偏低。當利用通過傳統的NLP模型獲取的文本向量表征進行文本聚類時，文本聚類后得到的文本聚類索引的整體數據噪點偏高，文本聚類索引的召回率和準確率也偏低。因此，需要改善用于獲取文本向量表征的機器學習模型的訓練方法以及相應的文本聚類方法。

發明內容

本公開提供一種文本向量表征模型的訓練方法和裝置及文本聚類方法和裝置，以至少解決上述相關技術中的問題，也可不解決任何上述問題。

根據本公開實施例的第一方面，提供一種文本向量表征模型的訓練方法，所述訓練方法包括：獲取文本樣本；將文本樣本轉換為第一文本輸入矩陣和經過掩碼處理后的第二文本輸入矩陣；將第一文本輸入矩陣輸入至所述文本向量表征模型，以獲取第一文本向量表征；將第二文本輸入矩陣輸入至輔助文本向量表征模型，以獲取第二文本向量表征；根據第一文本向量表征與第二文本向量表征之間的相似度損失值來更新所述文本向量表征模型的參數，以對所述文本向量表征模型進行訓練。

可選地，所述訓練方法還包括：基于所述文本向量表征模型的更新后的參數來更新所述輔助文本向量表征模型的參數。

可選地，所述訓練方法還包括：通過將每次迭代訓練得到的更新參數后的所述文本向量表征模型和更新參數后的所述輔助文本向量表征模型用于下一次迭代訓練，來迭代執行如上所述的訓練方法，直到所述文本向量表征模型收斂，得到訓練后的所述文本向量表征模型。

可選地，所述將文本樣本轉換為第一文本輸入矩陣和經過掩碼處理后的第二文本輸入矩陣，包括：

將文本樣本轉換為索引向量，所述索引向量中的每個索引元素分別表示文本樣本中對應的單個字符或用于滿足索引向量長度限制的補余元素；將索引向量轉換為第一文本輸入矩陣；對索引向量進行掩碼處理，將掩碼處理后的索引向量轉換為所述第二文本輸入矩陣。

可選地，所述索引向量和所述掩碼處理后的索引向量通過與相同的預定詞向量矩陣進行映射，來分別轉換為所述第一文本輸入矩陣和所述第二文本輸入矩陣。

可選地，基于所述文本向量表征模型的更新后的參數來更新所述輔助文本向量表征模型的參數包括：基于所述文本向量表征模型的更新后的參數，利用指數移動平均算法確定所述輔助文本向量表征模型的參數更新函數；利用所述參數更新函數更新所述輔助文本向量表征模型的參數。

可選地，第一文本向量表征與第二文本向量表征之間的相似度損失值是通過以下步驟得到的：確定第一文本向量表征與第二文本向量表征之間的相似度；基于所述相似度，確定第一文本向量表征與第二文本向量表征之間的相似度損失值。

可選地，所述訓練方法還包括：對所述第一文本向量表征進行線性映射；將所述第一文本向量表征替換為線性映射后的第一文本向量表征。