[發(fā)明專(zhuān)利]一種文本相似性的比較方法以及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201510974716.6
• 申請(qǐng)日: 2015-12-22
• 公開(kāi)（公告）號(hào): CN105630767B
• 公開(kāi)（公告）日: 2018-06-15
• 發(fā)明（設(shè)計(jì)）人: 張伸正;魏少俊;陳培軍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27;G06F17/30
• 代理公司: 北京天達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11386
• 代理人: 左萌;龔頤雯

本發(fā)明公開(kāi)了一種文本相似性的比較方法以及裝置，其中，所述方法包括：提取兩個(gè)以上文本的初始特征向量；所述初始特征向量中至少一個(gè)元素的權(quán)重值被賦予最小權(quán)重值的倍數(shù)值，其他元素的權(quán)重值被賦予最小權(quán)重值；根據(jù)所述倍數(shù)在初始特征向量中增加相應(yīng)元素形成新的特征向量；根據(jù)所述新的特征向量，比較所述兩個(gè)以上文本的相似性。本發(fā)明提供的文本相似性的比較方法以及裝置，能夠提高文本信息表示的準(zhǔn)確度，使得相似性的比較結(jié)果更符合用戶的需要。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種信息的相似性的比較方法和裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和日益普及，新聞等文本信息用戶所面對(duì)的信息量正在以驚人的速度增長(zhǎng)，對(duì)能夠方便地獲取自己感興趣的文本信息的需求越來(lái)越迫切。

由于文本信息量急速增加，文本類(lèi)別越發(fā)細(xì)化，并具有很強(qiáng)的實(shí)時(shí)性，往往更新迅速，時(shí)效極短，因此對(duì)文本進(jìn)行有效的聚類(lèi)，以提供給不同的用戶或者提供給不同的應(yīng)用是十分重要的。

現(xiàn)有技術(shù)中，首先提取文本的特征向量，再根據(jù)不同文本特征向量比較文本的相似性。例如某一文本，提取的特征向量為(馬伊俐新片尺度大職場(chǎng)御姐范兒就得這么穿)，另一文本提取的特征向量為(歐美風(fēng)服飾搭配晉級(jí)職場(chǎng)御姐范兒)，通過(guò)比較兩個(gè)特征向量可以確定兩個(gè)文本的相似性。

然而，現(xiàn)有技術(shù)比較文本相似性時(shí)，并不考慮文本特征向量中字詞元素的重要性，因此，可能會(huì)將在實(shí)際上大眾不會(huì)同時(shí)感興趣的兩個(gè)文本信息聚類(lèi)到一起。

但是，現(xiàn)有的最小哈希算法用于對(duì)文本信息進(jìn)行聚類(lèi)時(shí)，并不考慮文本中每一個(gè)字詞元素的重要性，因此，可能會(huì)將在實(shí)際上大眾不會(huì)同時(shí)感興趣的兩個(gè)文本信息聚類(lèi)到一起。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決或者減緩上述問(wèn)題的一種文本相似性的比較方法和裝置。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種文本相似性的比較方法，包括：提取兩個(gè)以上文本的初始特征向量；初始特征向量中至少一個(gè)元素的權(quán)重值被賦予最小權(quán)重值的倍數(shù)值，其他元素的權(quán)重值被賦予最小權(quán)重值；根據(jù)倍數(shù)在初始特征向量中增加相應(yīng)元素形成新的特征向量；根據(jù)新的特征向量，比較兩個(gè)以上文本的相似性。

可選地，在根據(jù)本發(fā)明的實(shí)施例的文本相似性的比較方法中，根據(jù)新的特征向量，比較兩個(gè)以上文本的相似性具體為：對(duì)新的特征向量進(jìn)行最小哈希運(yùn)算，根據(jù)運(yùn)算結(jié)果比較兩個(gè)以上文本的相似性。

可選地，在根據(jù)本發(fā)明的實(shí)施例的文本相似性的比較方法中，根據(jù)新的特征向量，比較兩個(gè)以上文本的相似性具體為：根據(jù)新的特征向量之間的內(nèi)積或夾角的余弦比較所述兩個(gè)以上文本的相似性。

可選地，在根據(jù)本發(fā)明的實(shí)施例的文本相似性的比較方法中，將文本進(jìn)行分詞處理，進(jìn)一步進(jìn)行去無(wú)用信息處理后形成初始特征向量。

可選地，在根據(jù)本發(fā)明的實(shí)施例的文本相似性的比較方法中，將文本進(jìn)行分詞處理并去無(wú)用信息形成字詞序列，根據(jù)字詞序列中字詞出現(xiàn)頻率由高到低的順序排列字詞，由前至后取出預(yù)設(shè)數(shù)量的字詞形成初始特征向量。

可選地，在根據(jù)本發(fā)明的實(shí)施例的文本相似性的比較方法中，計(jì)算初始特征向量中每一個(gè)元素的字詞頻率，字詞頻率為元素在文本中出現(xiàn)的次數(shù)，根據(jù)字詞頻率確定初始特征向量的最小權(quán)重值及其對(duì)應(yīng)的元素，最小權(quán)重值的倍數(shù)權(quán)重值及其對(duì)應(yīng)的元素。

可選地，在根據(jù)本發(fā)明的實(shí)施例的文本相似性的比較方法中，計(jì)算初始特征向量中每一個(gè)元素的文檔頻率，文檔頻率為包括了元素的文本數(shù)量，逆文檔頻率為與文檔頻率呈反比的函數(shù)值，根據(jù)逆文檔頻率確定初始特征向量的最小權(quán)重值及其對(duì)應(yīng)的元素，最小權(quán)重值的倍數(shù)權(quán)重值及其對(duì)應(yīng)的元素。