[發明專利]一種文本相似度的計算方法以及相關設備

有效

• 申請號: 201910129311.0
• 申請日: 2019-02-21
• 公開（公告）號: CN109871540B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 徐樂樂
• 申請（專利權）人: 武漢斗魚魚樂網絡科技有限公司
• 主分類號: G06F40/194
• 分類號: G06F40/194;G06F40/216;G06F40/289;G06K9/62
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 徐松

1.一種文本相似度的計算方法，其特征在于，包括：

獲取至少兩個文本，所述至少兩個文本為待計算相似度的文本；

對所述至少兩個文本分別進行分詞得到所述至少兩個文本對應的至少兩個分詞集合；

確定所述至少兩個分詞集合中每個分詞的歸一化后的權重；

確定所述至少兩個分詞集合中每個分詞的詞向量；

基于所述至少兩個分詞集合中每個分詞的歸一化后的權重以及所述至少兩個分詞集合中每個分詞的詞向量確定所述至少兩個文本對應的至少兩個文本向量；

根據所述至少兩個文本向量計算所述至少兩個文本中任意兩個文本的相似度；

所述確定所述至少兩個分詞集合中每個分詞的歸一化后的權重包括：

通過如下公式確定所述至少兩個分詞集合中每個分詞的歸一化后的權重：

其中，WordHeight(word_ij)為所述至少兩個文本中第i篇文本的第j個分詞的歸一化前權重，且word_ij為所述至少兩個文本中第i篇文本的第j個分詞的歸一化后的權重，為所述至少兩個文本中第i篇文本的第j個分詞出現的次數，為所述至少兩個文本中第i篇文本的第j個分詞出現在文本中的文本數，為所述至少兩個文本中第k篇文本的第j個分詞出現在文本中的文本數，m為所述至少兩個文本中第k篇文本對應的分詞集合中的分詞數量，N為所述至少兩個文本中的文本數量，C為所述至少兩個文本的分詞集合中的總詞數。

2.根據權利要求1所述的方法，其特征在于，所述基于所述至少兩個分詞集合中每個分詞的歸一化后的權重以及所述至少兩個分詞集合中每個分詞的詞向量確定所述至少兩個文本對應的至少兩個文本向量包括：

通過如下公式確定所述至少兩個文本對應的至少兩個文本向量：

其中，為所述至少兩個文本中第i篇文本的向量化表示，m為所述第i篇文本對應的分詞集合中的分詞數量，word2vec(word_ij)為所述第i篇文本中第j個分詞的詞向量，word_ij為所述第i篇文本中第j個分詞的歸一化后的權重。

3.根據權利要求1所述的方法，其特征在于，所述根據所述至少兩個文本向量計算所述至少兩個文本中任意兩個文本的相似度包括：

根據所述至少兩個文本向量通過如下公式計算所述至少兩個文本中任意兩個文本的相似度：

其中，D_A以及D_B為所述至少兩個文本中的任意一個文本，為所述文本D_A的向量化表示，為所述文本D_B的向量化表示，sim(D_A,D_B)為所述文本D_A和所述文本D_B的相似度。

4.根據權利要求1至3中任一項所述的方法，其特征在于，所述對所述至少兩個文本分別進行分詞得到所述至少兩個文本對應的至少兩個分詞集合包括：

通過n-gram的方式對所述至少兩個文本分別進行分詞，以得到所述至少兩個文本對應的至少兩個分詞集合。