[發(fā)明專利]網(wǎng)絡(luò)文本處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410559608.8
• 申請(qǐng)日: 2014-10-20
• 公開(kāi)（公告）號(hào): CN104346443B
• 公開(kāi)（公告）日: 2018-08-03
• 發(fā)明（設(shè)計(jì)）人: 余德樂(lè);陳俊宏;楊韜
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 李志剛;吳貴明

本發(fā)明公開(kāi)了一種網(wǎng)絡(luò)文本處理方法及裝置。該網(wǎng)絡(luò)文本處理方法包括：獲取網(wǎng)絡(luò)發(fā)布的第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本；計(jì)算第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本的相似度；判斷相似度是否大于預(yù)設(shè)閾值；如果相似度大于預(yù)設(shè)閾值，則確定第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本存在轉(zhuǎn)載關(guān)系；以及如果相似度不大于預(yù)設(shè)閾值，則確定第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本不存在轉(zhuǎn)載關(guān)系。通過(guò)本發(fā)明解決了相關(guān)技術(shù)中無(wú)法確定未標(biāo)識(shí)轉(zhuǎn)載來(lái)源的網(wǎng)絡(luò)文本的轉(zhuǎn)載關(guān)系的問(wèn)題，進(jìn)而達(dá)到了提高網(wǎng)絡(luò)文本傳播路徑分析的準(zhǔn)確性的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種網(wǎng)絡(luò)文本處理方法及裝置。

背景技術(shù)

隨著社會(huì)化媒體營(yíng)銷(xiāo)渠道的發(fā)展，商家們逐漸開(kāi)始重視用戶在網(wǎng)絡(luò)渠道上發(fā)出的言論，通過(guò)分析人們發(fā)出的這些言論來(lái)提高自己商業(yè)效益。同時(shí)也對(duì)網(wǎng)絡(luò)上的負(fù)面言論設(shè)置警報(bào)，可及時(shí)發(fā)現(xiàn)對(duì)于品牌或商家有威脅的公關(guān)危機(jī)，并且分析這些負(fù)面言論的傳播形式與途徑，進(jìn)行追根述源的剖析?；谏鲜鲈?，判斷文章或言論的傳播途徑變得尤為重要。現(xiàn)在存在的對(duì)傳播途徑的分析僅僅停留在用網(wǎng)絡(luò)爬蟲(chóng)抓取網(wǎng)頁(yè)上的文章，通過(guò)網(wǎng)絡(luò)爬蟲(chóng)抓取到的表示轉(zhuǎn)發(fā)來(lái)源的標(biāo)志詞(如，此文章轉(zhuǎn)自：新浪)來(lái)判斷文章的轉(zhuǎn)發(fā)源頭。

上述方法有很大的局限性，一旦網(wǎng)站上沒(méi)有標(biāo)記文章的轉(zhuǎn)摘出處時(shí)，就無(wú)從判斷文章的轉(zhuǎn)發(fā)源頭。但是，如果在不同網(wǎng)站上采集到內(nèi)容完全相同的多篇文章，則可以通過(guò)查看文章內(nèi)容是否完全相同來(lái)查看是否是轉(zhuǎn)載關(guān)系，但這種方法也有很大的局限性，該方法僅僅能對(duì)文章內(nèi)容完全相同的情況給予判斷，但現(xiàn)在的網(wǎng)絡(luò)媒體大多會(huì)對(duì)原文稍作修改，再進(jìn)行發(fā)布，而該方法無(wú)法對(duì)這類情況進(jìn)行文章傳播路徑的分析。

針對(duì)相關(guān)技術(shù)中無(wú)法確定未標(biāo)識(shí)轉(zhuǎn)載來(lái)源的網(wǎng)絡(luò)文本的轉(zhuǎn)載關(guān)系的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種網(wǎng)絡(luò)文本處理方法及裝置，以解決相關(guān)技術(shù)中無(wú)法確定未標(biāo)識(shí)轉(zhuǎn)載來(lái)源的網(wǎng)絡(luò)文本的轉(zhuǎn)載關(guān)系的問(wèn)題。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種網(wǎng)絡(luò)文本處理方法。

根據(jù)本發(fā)明的網(wǎng)絡(luò)文本處理方法包括：獲取網(wǎng)絡(luò)發(fā)布的第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本；計(jì)算第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本的相似度；判斷相似度是否大于預(yù)設(shè)閾值；如果相似度大于預(yù)設(shè)閾值，則確定第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本存在轉(zhuǎn)載關(guān)系；以及如果相似度不大于預(yù)設(shè)閾值，則確定第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本不存在轉(zhuǎn)載關(guān)系。

進(jìn)一步地，獲取網(wǎng)絡(luò)發(fā)布的第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本包括：由第一目標(biāo)網(wǎng)站抓取文本數(shù)據(jù)，得到第一網(wǎng)絡(luò)文本；由第二目標(biāo)網(wǎng)站抓取文本數(shù)據(jù)，得到第二網(wǎng)絡(luò)文本，在獲取第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本之后，方法還包括：將第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本存儲(chǔ)至目標(biāo)數(shù)據(jù)庫(kù)，計(jì)算第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本的相似度包括：從目標(biāo)數(shù)據(jù)庫(kù)中取出第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本；計(jì)算取出的第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本的相似度。

進(jìn)一步地，計(jì)算第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本的相似度包括：對(duì)第一網(wǎng)絡(luò)文本進(jìn)行分詞，得到第一分詞集合，對(duì)第二網(wǎng)絡(luò)文本進(jìn)行分詞，得到第二分詞集合；統(tǒng)計(jì)第一分詞集合與第二分詞集合中相同詞語(yǔ)的個(gè)數(shù)；統(tǒng)計(jì)第一分詞集合與第二分詞集合中相同詞語(yǔ)組合的個(gè)數(shù)，其中，相同詞語(yǔ)組合中的組合詞語(yǔ)的順序相同；以及根據(jù)第一分詞集合與第二分詞集合中相同詞語(yǔ)的個(gè)數(shù)和第一分詞集合與第二分詞集合中相同詞語(yǔ)組合的個(gè)數(shù)計(jì)算第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本的相似度。

進(jìn)一步地，根據(jù)第一分詞集合與第二分詞集合中相同詞語(yǔ)的個(gè)數(shù)和第一分詞集合與第二分詞集合中相同詞語(yǔ)組合的個(gè)數(shù)計(jì)算第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本的相似度包括：統(tǒng)計(jì)第一分詞集合與第二分詞集合中詞語(yǔ)的總數(shù)；計(jì)算第一分詞集合與第二分詞集合中相同詞語(yǔ)的個(gè)數(shù)與第一分詞集合與第二分詞集合中詞語(yǔ)的總數(shù)的比值，得到第一比值；統(tǒng)計(jì)相同詞語(yǔ)兩兩組合的總數(shù)；計(jì)算相同詞語(yǔ)組合的個(gè)數(shù)與相同詞語(yǔ)兩兩組合的總數(shù)的比值，得到第二比值；以及通過(guò)第一比值和第二比值計(jì)算第一網(wǎng)絡(luò)文本與第二網(wǎng)絡(luò)文本的相似度。