[發(fā)明專利]網(wǎng)絡(luò)文本處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410559608.8
• 申請(qǐng)日: 2014-10-20
• 公開(kāi)（公告）號(hào): CN104346443B
• 公開(kāi)（公告）日: 2018-08-03
• 發(fā)明（設(shè)計(jì)）人: 余德樂(lè);陳俊宏;楊韜
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 李志剛;吳貴明

1.一種網(wǎng)絡(luò)文本處理方法，其特征在于，包括：

獲取網(wǎng)絡(luò)發(fā)布的第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本；

計(jì)算所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本的相似度；

判斷所述相似度是否大于預(yù)設(shè)閾值；

如果所述相似度大于所述預(yù)設(shè)閾值，則確定所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本存在轉(zhuǎn)載關(guān)系；以及

如果所述相似度不大于所述預(yù)設(shè)閾值，則確定所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本不存在轉(zhuǎn)載關(guān)系；

其中，計(jì)算所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本的相似度包括：

對(duì)所述第一網(wǎng)絡(luò)文本進(jìn)行分詞，得到第一分詞集合，對(duì)所述第二網(wǎng)絡(luò)文本進(jìn)行分詞，得到第二分詞集合；

統(tǒng)計(jì)所述第一分詞集合與所述第二分詞集合中相同詞語(yǔ)的個(gè)數(shù)；

統(tǒng)計(jì)所述第一分詞集合與所述第二分詞集合中相同詞語(yǔ)組合的個(gè)數(shù)，其中，相同詞語(yǔ)組合中的組合詞語(yǔ)的順序相同；以及

根據(jù)所述第一分詞集合與所述第二分詞集合中相同詞語(yǔ)的個(gè)數(shù)和所述第一分詞集合與所述第二分詞集合中相同詞語(yǔ)組合的個(gè)數(shù)計(jì)算所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本的相似度；

其中，在獲取網(wǎng)絡(luò)發(fā)布的第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本之后，所述方法還包括：

將所述第一網(wǎng)絡(luò)文本和所述第二網(wǎng)絡(luò)文本存儲(chǔ)至目標(biāo)數(shù)據(jù)庫(kù)，在所述目標(biāo)數(shù)據(jù)庫(kù)中，還存儲(chǔ)有所述第一網(wǎng)絡(luò)文本的發(fā)布時(shí)間和發(fā)布網(wǎng)站以及所述第二網(wǎng)絡(luò)文本的發(fā)布時(shí)間和發(fā)布網(wǎng)站；

其中，在確定所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本存在轉(zhuǎn)載關(guān)系之后，所述方法還包括：

在所述目標(biāo)數(shù)據(jù)庫(kù)分別獲取所述第一網(wǎng)絡(luò)文本和所述第二網(wǎng)絡(luò)文本的發(fā)布時(shí)間和發(fā)布網(wǎng)站；

通過(guò)比較所述第一網(wǎng)絡(luò)文本和所述第二網(wǎng)絡(luò)文本的發(fā)布時(shí)間的先后，確定所述第一網(wǎng)絡(luò)文本和所述第二網(wǎng)絡(luò)文本的傳播路徑；

其中，在獲取網(wǎng)絡(luò)發(fā)布的第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本之前，所述方法還包括：

預(yù)先設(shè)定多個(gè)目標(biāo)網(wǎng)站，其中，所述目標(biāo)網(wǎng)站用于獲取網(wǎng)絡(luò)文本。

2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)文本處理方法，其特征在于，

獲取網(wǎng)絡(luò)發(fā)布的第一網(wǎng)絡(luò)文本和第二網(wǎng)絡(luò)文本包括：由第一目標(biāo)網(wǎng)站抓取文本數(shù)據(jù)，得到第一網(wǎng)絡(luò)文本；由第二目標(biāo)網(wǎng)站抓取文本數(shù)據(jù)，得到第二網(wǎng)絡(luò)文本，

在獲取所述第一網(wǎng)絡(luò)文本和所述第二網(wǎng)絡(luò)文本之后，所述方法還包括：將所述第一網(wǎng)絡(luò)文本和所述第二網(wǎng)絡(luò)文本存儲(chǔ)至目標(biāo)數(shù)據(jù)庫(kù)，

計(jì)算所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本的相似度包括：從所述目標(biāo)數(shù)據(jù)庫(kù)中取出所述第一網(wǎng)絡(luò)文本和所述第二網(wǎng)絡(luò)文本；計(jì)算取出的所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本的相似度。

3.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)文本處理方法，其特征在于，根據(jù)所述第一分詞集合與所述第二分詞集合中相同詞語(yǔ)的個(gè)數(shù)和所述第一分詞集合與所述第二分詞集合中相同詞語(yǔ)組合的個(gè)數(shù)計(jì)算所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本的相似度包括：

統(tǒng)計(jì)所述第一分詞集合與所述第二分詞集合中詞語(yǔ)的總數(shù)；

計(jì)算所述第一分詞集合與所述第二分詞集合中相同詞語(yǔ)的個(gè)數(shù)與所述第一分詞集合與所述第二分詞集合中詞語(yǔ)的總數(shù)的比值，得到第一比值；

統(tǒng)計(jì)所述第一分詞集合與所述第二分詞集合中相同詞語(yǔ)兩兩組合的總數(shù)；

計(jì)算所述相同詞語(yǔ)組合的個(gè)數(shù)與所述相同詞語(yǔ)兩兩組合的總數(shù)的比值，得到第二比值；以及

通過(guò)所述第一比值和所述第二比值計(jì)算所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本的相似度。

4.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)文本處理方法，其特征在于，在確定所述第一網(wǎng)絡(luò)文本與所述第二網(wǎng)絡(luò)文本存在轉(zhuǎn)載關(guān)系后，所述方法包括：

獲取所述第一網(wǎng)絡(luò)文本的發(fā)布時(shí)間和發(fā)布網(wǎng)站；

獲取所述第二網(wǎng)絡(luò)文本的發(fā)布時(shí)間和發(fā)布網(wǎng)站；以及

如果所述第一網(wǎng)絡(luò)文本的發(fā)布時(shí)間晚于所述第二網(wǎng)絡(luò)文本的發(fā)布時(shí)間，則確定所述第一網(wǎng)絡(luò)文本的發(fā)布網(wǎng)站轉(zhuǎn)載自所述第二網(wǎng)絡(luò)文本的發(fā)布網(wǎng)站，如果所述第一網(wǎng)絡(luò)文本的發(fā)布時(shí)間早于所述第二網(wǎng)絡(luò)文本的發(fā)布時(shí)間，則確定所述第二網(wǎng)絡(luò)文本的發(fā)布網(wǎng)站轉(zhuǎn)載自所述第一網(wǎng)絡(luò)文本的發(fā)布網(wǎng)站。