[發(fā)明專利]相似度確定方法及裝置有效
| 申請?zhí)枺?/td> | 201710646291.5 | 申請日： | 2017-07-31 |
| 公開（公告）號： | CN109325509B | 公開（公告）日： | 2023-01-17 |
| 發(fā)明（設(shè)計）人： | 石鵬;范浩文 | 申請（專利權(quán)）人： | 北京國雙科技有限公司 |
| 主分類號： | G06F18/22 | 分類號： | G06F18/22;G06F40/284 |
| 代理公司： | 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240 | 代理人： | 趙囡囡;褚敏 |
| 地址： | 100083 北京市海淀區(qū)*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 相似 確定 方法 裝置 | ||
1.一種相似度確定方法，其特征在于，包括：
對第一文本和第二文本分別進行分詞獲得對應(yīng)的第一分詞結(jié)果和第二分詞結(jié)果；
對所述第一分詞結(jié)果和第二分詞結(jié)果進行過濾，確定在所述第一文本和所述第二文本中都出現(xiàn)的相同的詞；
統(tǒng)計所述在所述第一文本和所述第二文本中都出現(xiàn)的相同的詞分別在所述第一文本和所述第二文本中出現(xiàn)的次數(shù)；
根據(jù)統(tǒng)計的次數(shù)，確定所述第一文本以及所述第二文本的相似度；
獲取在所述第一文本和所述第二文本中均存在的所述相同的詞的種類；
根據(jù)所述相同的詞的種類的數(shù)目確定計算所述相似度的復(fù)雜度，其中，所述復(fù)雜度為所述第一文本和所述第二文本中都出現(xiàn)的相同的詞的種類數(shù)目與所述第二文本和所述第一文本中都出現(xiàn)的相同的詞的種類數(shù)目的總和；
其中，對所述第一分詞結(jié)果和第二分詞結(jié)果進行過濾包括：
分別將所述第一分詞結(jié)果和第二分詞結(jié)果導(dǎo)入詞包；
利用所述詞包檢測所述第一分詞結(jié)果和第二分詞結(jié)果中是否存在無意義的詞，其中，所述無意義的詞包括以下至少之一：標(biāo)點，助詞，空格；
在檢測結(jié)果為是的情況下，利用所述詞包過濾掉所述第一分詞結(jié)果和第二分詞結(jié)果中出現(xiàn)的所述無意義的詞。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)統(tǒng)計的次數(shù)，確定所述第一文本以及所述第二文本的相似度包括：
根據(jù)所述在所述第一文本和所述第二文本中都出現(xiàn)的相同的詞在所述第一文本以及第二文本中出現(xiàn)的次數(shù)，確定所述第一文本和第二文本分別對應(yīng)的向量；
采用余弦向量夾角算法，基于所述第一文本和第二文本分別對應(yīng)的向量，確定所述第一文本和所述第二文本的相似度。
3.一種相似度確定裝置，其特征在于，包括：
分詞單元，用于對第一文本和第二文本分別進行分詞獲得對應(yīng)的第一分詞結(jié)果和第二分詞結(jié)果；
第一確定單元，用于對所述第一分詞結(jié)果和第二分詞結(jié)果進行過濾，確定在所述第一文本和所述第二文本中都出現(xiàn)的相同的詞；
統(tǒng)計單元，用于統(tǒng)計所述在所述第一文本和所述第二文本中都出現(xiàn)的相同的詞分別在所述第一文本和所述第二文本中出現(xiàn)的次數(shù)；
第二確定單元，用于根據(jù)統(tǒng)計的次數(shù)，確定所述第一文本以及所述第二文本的相似度；
獲取單元，在根據(jù)統(tǒng)計的次數(shù)，確定所述第一文本以及所述第二文本的相似度之后，用于獲取在所述第一文本和所述第二文本中均存在的所述相同的詞的種類數(shù)量；
第三確定單元，用于根據(jù)所述相同的詞的種類數(shù)量確定計算所述相似度的復(fù)雜度，其中，所述復(fù)雜度為所述第一文本和所述第二文本中都出現(xiàn)的相同的詞的種類數(shù)目與所述第二文本和所述第一文本中都出現(xiàn)的相同的詞的種類數(shù)據(jù)的總和；
其中，所述第一確定單元包括：
導(dǎo)入模塊，用于分別將所述第一分詞結(jié)果和第二分詞結(jié)果導(dǎo)入詞包；
檢測模塊，利用所述詞包檢測所述第一分詞結(jié)果和第二分詞結(jié)果中是否存在無意義的詞，其中，所述無意義的詞包括以下至少之一：標(biāo)點，助詞，空格；
過濾模塊，在檢測結(jié)果為是的情況下，用于利用所述詞包過濾掉所述第一分詞結(jié)果和第二分詞結(jié)果中出現(xiàn)的所述無意義的詞。
4.根據(jù)權(quán)利要求3所述的裝置，其特征在于，所述第二確定單元包括：
第一確定模塊，用于確定所述在所述第一文本和所述第二文本中都出現(xiàn)的相同的詞在所述第一文本以及第二文本中出現(xiàn)的次數(shù)分別對應(yīng)的向量；
第二確定模塊，用于采用余弦向量夾角算法，基于所述向量確定所述第一文本和所述第二文本的相似度。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京國雙科技有限公司，未經(jīng)北京國雙科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710646291.5/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
