[發明專利]文本相似性的確定方法、裝置、設備及介質

有效

• 申請號: 202011043848.4
• 申請日: 2020-09-28
• 公開（公告）號: CN113392176B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 彭江軍
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/211;G06F40/289
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 徐立

本申請公開了一種文本相似性的確定方法、消息接收方法、裝置、設備及介質，涉及數據處理領域。該方法包括：獲取第一文本和第二文本；提取所述第一文本和所述第二文本在k個特征維度上的相關特征，k為大于1的整數；將所述k個特征維度上的相關特征作為k個自變量輸入非負線性回歸方程，得到因變量；所述非負線性回歸方程中的回歸系數均為非負值；在所述因變量大于閾值時，確定所述第一文本和所述第二文本相似。

技術領域

本申請實施例涉及數據處理領域，特別涉及一種文本相似性的確定方法、裝置、設備及介質。

背景技術

文本相似度計算是自然語言領域的一個重要的研究課題。

相關技術常采用基于字符的方法來計算文本相似度。比如，計算機設備分別計算第一文本和第二文本在字符維度的相關特征，在相關特征所指示的相似度達到閾值時，確定第一文本和第二文本相似。

由于上述方法僅能計算兩個文本在一個特征維度的相關性，因此上述方法的準確性有限。

發明內容

本申請實施例提供了一種文本相似性的確定方法、裝置、設備及介質，將文本相似度計算問題抽象為非負線性回歸問題，來綜合多個特征維度的相關特征計算文本相似度。所述技術方案如下：

根據本申請的一個方面，提供了一種文本相似性的確定方法，所述方法包括：

獲取第一文本和第二文本；

提取所述第一文本和所述第二文本在k個特征維度上的相關特征，k為大于1的整數；

將所述k個特征維度上的相關特征作為k個自變量輸入非負線性回歸方程，得到因變量；所述非負線性回歸方程中的回歸系數均為非負值；

在所述因變量大于閾值時，確定所述第一文本和所述第二文本相似。

根據本申請的另一方面，提供了一種文本相似性的確定裝置，所述裝置包括：

文本獲取模塊，用于獲取第一文本和第二文本；

特征提取模塊，用于提取所述第一文本和所述第二文本在k個特征維度上的相關特征，k為大于1的整數；

非負回歸模塊，用于將所述k個特征維度上的相關特征作為k個自變量輸入非負線性回歸方程，得到因變量；所述非負線性回歸方程中的回歸系數均為非負值；

相關確定模塊，用于在所述因變量大于閾值時，確定所述第一文本和所述第二文本相似。

根據本申請的另一方面，提供了一種計算機設備，所述計算機設備包括處理器和存儲器，所述存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執行以實現如上方面所述的文本相似性的確定方法。

根據本申請的另一方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執行以實現如上方面所述的文本相似性的確定方法。

本申請實施例提供的技術方案帶來的有益效果至少包括：

通過將文本相似度計算問題抽象為非負線性回歸問題，將兩個文本在k個特征維度上的相關特征作為k個自變量，采用非負線性回歸方程來綜合多個特征維度的相關特征計算文本相似度，能夠較好地提高文本相似度的計算準確性。同時，本申請還首次提出非負線性回歸方程，以及非負線性回歸方程的解法。

附圖說明

為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它的附圖。