[發明專利]文本向量的獲取方法和裝置、文本相似度計算方法和裝置

有效

• 申請號: 202110457512.0
• 申請日: 2021-04-27
• 公開（公告）號: CN112989785B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 陳顯玲;劉佳
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/194
• 分類號: G06F40/194;G06F40/211;G06K9/62
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.文本向量的獲取方法，包括：預先根據能夠對一種類型文本的含義產生影響的因素，設置對應于該種類型文本的至少兩種要素；每一種要素從一個特定的維度體現文本的含義，且每一種要素能夠對文本的含義產生影響；

得到待處理的文本；

針對預先設置的對應于待處理文本的文本類型的至少兩種要素中的每一種要素，識別出待處理的文本中屬于該要素的字符；

利用識別出的屬于每一種要素的字符，得到對應于該種要素的向量；

將得到的對應于各個要素的各個向量作為所述文本的向量；

當所述待處理的文本包括用戶投訴時，所述對應于待處理文本的文本類型的至少兩種要素包括：對象、狀態、障礙、訴求及咨詢中的任意兩種或多種；

當所述待處理的文本包括論文時，所述對應于待處理文本的文本類型的至少兩種要素包括：對象、訴求、引用文獻、論證工具。

2.根據權利要求1所述的方法，其中，所述識別出待處理的文本中屬于該要素的字符，包括：

將所述待處理的文本輸入預先訓練的第一識別模型；

得到由該第一識別模型輸出的屬于每一種要素的字符；

其中，所述第一識別模型的訓練方法包括：利用被標注過的文本，訓練所述第一識別模型；每一個文本的標注方式為：該文本中的各個字符均被標注為屬于所述至少兩種要素中的至少一種要素。

3.根據權利要求2所述的方法，其中，所述文本中的各個字符均被標注為屬于所述至少兩種要素中的至少一種要素，包括如下中的至少一項：

該文本中的至少一個關鍵詞被標注為屬于所述至少兩種要素中的至少一種要素；

該文本中的至少一個語句的句式被標注為屬于所述至少兩種要素中的至少一種要素；

該文本中的至少一個帶標點符號的字符位置被標注為屬于所述至少兩種要素中的至少一種要素。

4.根據權利要求1所述的方法，其中，所述識別出待處理的文本中屬于該要素的字符，包括：

將所述待處理的文本輸入預先訓練的第二識別模型；

得到由該第二識別模型輸出的屬于每一種要素的字符；

其中，所述第二識別模型的訓練方法包括：利用樣本集訓練所述第二識別模型，每一個樣本集中包括一個文本、針對該文本設置的對應于所述至少兩種要素中每一種要素的一對問題及答案。

5.文本相似度的計算方法，包括：

得到第一文本對應的第一向量組；該第一向量組中包括利用權利要求1至4中任一所述方法獲取的第一文本對應于各個要素的各個向量；

得到第二文本對應的第二向量組；該第二向量組中包括利用權利要求1至4中任一所述的方法獲取的第二文本對應于各個要素的各個向量；

根據第一向量組與第二向量組，確定第一文本與第二文本的相似度。

6.根據權利要求5所述的方法，其中，所述根據第一向量組與第二向量組確定第一文本與第二文本的相似度，包括：

將第一向量組中的各個向量進行加權平均計算，得到對應于第一文本的第一融合向量值；將第二向量組中的各個向量進行加權平均計算，得到對應于第二文本的第二融合向量值；計算第一融合向量值與第二融合向量在向量空間中的距離，根據該距離得到第一文本與第二文本的相似度；

或者，

針對所述至少兩種要素中的每一種要素，計算第一向量組中對應于該要素的向量與第二向量組中對應于該要素的向量在向量空間中的距離；對得到的各個距離進行加權平均計算，根據計算出的加權平均結果得到第一文本與第二文本的相似度。