[發明專利]文本向量表征模型的訓練和文本聚類

有效

• 申請號: 202110862902.6
• 申請日: 2021-07-29
• 公開（公告）號: CN113553858B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 尚航;呂廷迅
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F18/23;G06F18/22
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 田碩;蘇銀虹

1.一種文本向量表征模型的訓練方法，其特征在于，包括：

獲取文本樣本；

將文本樣本轉換為第一文本輸入矩陣和經過掩碼處理后的第二文本輸入矩陣；

將第一文本輸入矩陣輸入至所述文本向量表征模型，以獲取第一文本向量表征；

將第二文本輸入矩陣輸入至輔助文本向量表征模型，以獲取第二文本向量表征；

根據第一文本向量表征與第二文本向量表征之間的相似度損失值來更新所述文本向量表征模型的參數，以對所述文本向量表征模型進行訓練。

2.如權利要求1所述的訓練方法，其特征在于，所述訓練方法還包括：基于所述文本向量表征模型的更新后的參數來更新所述輔助文本向量表征模型的參數。

3.如權利要求2所述的訓練方法，其特征在于，所述訓練方法還包括：

通過將每次迭代訓練得到的更新參數后的所述文本向量表征模型和更新參數后的所述輔助文本向量表征模型用于下一次迭代訓練，來迭代執行如權利要求2所述的訓練方法，直到所述文本向量表征模型收斂，得到訓練后的所述文本向量表征模型。

4.如權利要求2所述的訓練方法，其特征在于，基于所述文本向量表征模型的更新后的參數來更新所述輔助文本向量表征模型的參數包括：

基于所述文本向量表征模型的更新后的參數，利用指數移動平均算法確定所述輔助文本向量表征模型的參數更新函數；

利用所述參數更新函數更新所述輔助文本向量表征模型的參數。

5.一種文本聚類方法，其特征在于，包括：

獲取文本；

將文本轉換成文本輸入矩陣；

將文本輸入矩陣輸入至文本向量表征模型，以獲取文本向量表征；

對所述文本向量表征進行文本聚類，以獲取與所述文本對應的文本聚類索引，

其中，所述文本向量表征模型是使用如權利要求1至4中任一項所述的文本向量表征模型的訓練方法訓練得到的。

6.一種文本向量表征模型的訓練裝置，其特征在于，包括：

文本獲取單元，被配置為獲取文本樣本；

轉換單元，被配置為將文本樣本轉換為第一文本輸入矩陣和經過掩碼處理后的第二文本輸入矩陣；

文本向量表征獲取單元，被配置為將第一文本輸入矩陣輸入至所述文本向量表征模型，以獲取第一文本向量表征，并且將第二文本輸入矩陣輸入至輔助文本向量表征模型，以獲取第二文本向量表征；

訓練單元，被配置為根據第一文本向量表征與第二文本向量表征之間的相似度損失值來更新所述文本向量表征模型的參數，以對所述文本向量表征模型進行訓練。

7.一種文本聚類裝置，其特征在于，包括：

文本獲取單元，被配置為獲取文本；

轉換單元，被配置為將文本轉換成文本輸入矩陣；

文本向量表征獲取單元，被配置為將文本輸入矩陣輸入至文本向量表征模型，以獲取文本向量表征；

文本聚類單元，被配置為對所述文本向量表征進行文本聚類，以獲取與所述文本對應的文本聚類索引，

其中，所述文本向量表征模型是使用如權利要求1至4中任一項所述的文本向量表征模型的訓練方法訓練得到的。

8.一種電子設備，其特征在于，包括：

處理器；

用于存儲所述處理器可執行指令的存儲器，

其中，所述處理器被配置為執行所述指令，以實現如權利要求1至4中任一項所述的文本向量表征模型的訓練方法或如權利要求5所述的文本聚類方法。

9.一種計算機可讀存儲介質，其特征在于，當所述計算機可讀存儲介質中的指令由電子設備的處理器執行時，使得電子設備能夠執行如權利要求1至4中任一項所述的文本向量表征模型的訓練方法或如權利要求5所述的文本聚類方法。

10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至4中任一項所述的文本向量表征模型的訓練方法或如權利要求5所述的文本聚類方法。