[發(fā)明專(zhuān)利]一種識(shí)別網(wǎng)絡(luò)小說(shuō)中垃圾章節(jié)的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310214058.1
• 申請(qǐng)日: 2013-05-31
• 公開(kāi)（公告）號(hào): CN104216872B
• 公開(kāi)（公告）日: 2017-12-01
• 發(fā)明（設(shè)計(jì)）人: 高健;牛小彬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44285
• 代理人: 王仲凱

1.一種識(shí)別網(wǎng)絡(luò)小說(shuō)中垃圾章節(jié)的方法，其特征在于，所述方法包括：

抓取網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)；

計(jì)算每一網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)的ID，所述ID用于唯一標(biāo)識(shí)一網(wǎng)絡(luò)小說(shuō)；

獲取每個(gè)ID對(duì)應(yīng)的網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)的章節(jié)名稱(chēng)，所述章節(jié)名稱(chēng)包括章節(jié)名稱(chēng)的文字信息和/或數(shù)字信息；

統(tǒng)計(jì)并計(jì)算相同章節(jié)名稱(chēng)對(duì)應(yīng)的ID數(shù)量；

識(shí)別符合預(yù)設(shè)條件的章節(jié)名稱(chēng)和/或ID數(shù)量的章節(jié)為垃圾章節(jié)。

2.如權(quán)利要求1所述的方法，其特征在于，所述ID包括小說(shuō)名，或者小說(shuō)名和作者名。

3.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算每一網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)的ID包括：

通過(guò)MD5，計(jì)算每一網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)的ID。

4.如權(quán)利要求1所述的方法，其特征在于，所述識(shí)別符合預(yù)設(shè)條件的章節(jié)名稱(chēng)和/或ID數(shù)量的章節(jié)為垃圾章節(jié)包括：

識(shí)別章節(jié)名稱(chēng)大于預(yù)設(shè)長(zhǎng)度和/或ID數(shù)量大于預(yù)設(shè)數(shù)量的章節(jié)為垃圾章節(jié)。

5.如權(quán)利要求1所述的方法，其特征在于，所述識(shí)別符合預(yù)設(shè)條件的章節(jié)名稱(chēng)和/或ID數(shù)量的章節(jié)為垃圾章節(jié)包括：

識(shí)別符合預(yù)設(shè)條件的章節(jié)名稱(chēng)和/或ID數(shù)量的章節(jié)為疑似垃圾章節(jié)；

將所述疑似垃圾章節(jié)的章節(jié)名稱(chēng)在預(yù)設(shè)白名單中進(jìn)行匹配，將與所述預(yù)設(shè)白名單中存儲(chǔ)的關(guān)鍵詞的匹配度小于預(yù)設(shè)閾值的章節(jié)名稱(chēng)對(duì)應(yīng)的疑似垃圾章節(jié)識(shí)別為垃圾章節(jié)，所述預(yù)設(shè)白名單存儲(chǔ)合法的關(guān)鍵詞。

6.如權(quán)利要求5所述的方法，其特征在于，所述識(shí)別符合預(yù)設(shè)條件的章節(jié)名稱(chēng)和/或ID數(shù)量的章節(jié)為疑似垃圾章節(jié)之后，所述方法還包括：

將與所述預(yù)設(shè)白名單中存儲(chǔ)的關(guān)鍵詞的匹配度大于預(yù)設(shè)閾值的章節(jié)名稱(chēng)更新至所述預(yù)設(shè)白名單中。

7.一種識(shí)別網(wǎng)絡(luò)小說(shuō)中垃圾章節(jié)的裝置，其特征在于，所述裝置包括：

抓取單元，用于抓取網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)；

計(jì)算單元，用于計(jì)算每一網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)的ID，所述ID用于唯一標(biāo)識(shí)一網(wǎng)絡(luò)小說(shuō)；

獲取單元，用于獲取每個(gè)ID對(duì)應(yīng)的網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)的章節(jié)名稱(chēng)，所述章節(jié)名稱(chēng)包括章節(jié)名稱(chēng)的文字信息和/或數(shù)字信息；

計(jì)算單元，用于統(tǒng)計(jì)并計(jì)算相同章節(jié)名稱(chēng)對(duì)應(yīng)的ID數(shù)量；

識(shí)別單元，用于識(shí)別符合預(yù)設(shè)條件的章節(jié)名稱(chēng)和/或ID數(shù)量的章節(jié)為垃圾章節(jié)。

8.如權(quán)利要求7所述的裝置，其特征在于，所述ID包括小說(shuō)名，或者小說(shuō)名和作者名。

9.如權(quán)利要求7所述的裝置，其特征在于，所述計(jì)算單元，用于通過(guò)MD5，計(jì)算每一網(wǎng)絡(luò)小說(shuō)數(shù)據(jù)的ID。

10.如權(quán)利要求7所述的裝置，其特征在于，所述識(shí)別單元，用于識(shí)別章節(jié)名稱(chēng)大于預(yù)設(shè)長(zhǎng)度和/或ID數(shù)量大于預(yù)設(shè)數(shù)量的章節(jié)為垃圾章節(jié)。

11.如權(quán)利要求7所述的裝置，其特征在于，所述識(shí)別單元包括：

識(shí)別模塊，用于識(shí)別符合預(yù)設(shè)條件的章節(jié)名稱(chēng)和/或ID數(shù)量的章節(jié)為疑似垃圾章節(jié)；

匹配模塊，用于將所述疑似垃圾章節(jié)的章節(jié)名稱(chēng)在預(yù)設(shè)白名單中進(jìn)行匹配，將與所述預(yù)設(shè)白名單中存儲(chǔ)的關(guān)鍵詞的匹配度小于預(yù)設(shè)閾值的章節(jié)名稱(chēng)對(duì)應(yīng)的疑似垃圾章節(jié)識(shí)別為垃圾章節(jié)，所述預(yù)設(shè)白名單存儲(chǔ)合法的關(guān)鍵詞。

12.如權(quán)利要求11所述的裝置，其特征在于，所述匹配模塊，還用于將與所述預(yù)設(shè)白名單中存儲(chǔ)的關(guān)鍵詞的匹配度大于預(yù)設(shè)閾值的章節(jié)名稱(chēng)更新至所述預(yù)設(shè)白名單中。