[發(fā)明專利]文本相似度的計算方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811551461.2
• 申請日: 2018-12-18
• 公開（公告）號: CN109635077A
• 公開（公告）日: 2019-04-16
• 發(fā)明（設(shè)計）人: 徐樂樂
• 申請（專利權(quán)）人: 武漢斗魚網(wǎng)絡科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F17/27
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

1.一種文本相似度的計算方法，其特征在于，包括：

對待處理的兩條文本分別進行分詞處理，得到組成所述兩條文本的兩個詞匯集合；

將所述兩個詞匯集合進行并集處理和交集處理，得到所述兩個詞匯集合的并集詞匯和交集詞匯；

分別輸入各所述詞匯至預先訓練的TF-IDF空間向量集合，得出各所述詞匯的權(quán)重值；

基于所述并集詞匯和交集詞匯的權(quán)重值，計算得出所述兩條文本的相似度。

2.根據(jù)權(quán)利要求1所述的計算方法，其特征在于，所述基于所述并集詞匯和交集詞匯的權(quán)重值，計算得出所述兩條文本的相似度包括：

輸入所述并集詞匯和交集詞匯的權(quán)重值至如下文本相似度計算公式，計算得出所述兩條文本的相似度：

其中，A和B分別表示所述兩條文本，w∈A∩B表示文本A與文本B中的交集詞匯，w∈A∪B表示文本A與文本B中的并集詞匯，w_tf-idf表示詞匯的權(quán)重值，len(A∩B)表示文本A和文本B中交集詞匯的數(shù)量，len(A)表示文本A中詞匯的數(shù)量，len(B)表示文本B中詞匯的數(shù)量，sim(A,B)表示文本A和文本B的相似度。

3.根據(jù)權(quán)利要求1所述的計算方法，其特征在于，所述TF-IDF空間向量集合由多條語料文本訓練得出。

4.根據(jù)權(quán)利要求3任意一項所述的計算方法，其特征在于，所述TF-IDF空間向量集合由多條語料文本訓練得出包括：

對各所述語料文本進行預處理，得到所述語料文本中的特征詞；

通過TF-IDF權(quán)重公式，向量化各所述特征詞，得到所述TF-IDF空間向量集合；

令i表示第i個語料文本，j表示第j個特征詞，tf_ij表示第i個語料文本中第j個特征詞的詞頻，N為語料文本總數(shù)，N_wij表示出現(xiàn)第i個語料文本中第j個特征詞的語料文本數(shù)量，w_ij表示第i個語料文本中第j個特征詞的權(quán)重值，則：

5.一種文本相似度的計算裝置，其特征在于，包括：

分詞模塊，用于對待處理的兩條文本分別進行分詞處理，得到組成所述兩條文本的兩個詞匯集合；

并集處理模塊，用于將所述兩個詞匯集合進行并集處理，得到所述兩個詞匯集合的并集詞匯；

交集處理模塊，用于將所述兩個詞匯集合進行交集處理，得到所述兩個詞匯集合的交集詞匯；

輸入模塊，用于分別輸入各所述詞匯至預先訓練的TF-IDF空間向量集合，得出各所述詞匯的權(quán)重值；

計算模塊，用于基于所述并集詞匯和交集詞匯的權(quán)重值，計算得出所述兩條文本的相似度。

6.根據(jù)權(quán)利要求5所述的計算裝置，其特征在于，所述計算模塊具體用于輸入所述并集詞匯和交集詞匯的權(quán)重值至如下文本相似度計算公式，計算得出所述兩條文本的相似度：

其中，A和B分別表示所述兩條文本，w∈A∩B表示文本A與文本B中的交集詞匯，w∈A∪B表示文本A與文本B中的并集詞匯，w_tf-idf表示詞匯的權(quán)重值，len(A∩B)表示文本A和文本B中交集詞匯的數(shù)量，len(A)表示文本A中詞匯的數(shù)量，len(B)表示文本B中詞匯的數(shù)量，sim(A,B)表示文本A和文本B的相似度。

7.根據(jù)權(quán)利要求5所述的計算裝置，其特征在于，所述輸入模塊的TF-IDF空間向量集合由多條語料文本訓練得出。