[發(fā)明專利]網(wǎng)站內(nèi)容監(jiān)控方法和裝置

有效

• 申請?zhí)枺?/td>: 201710195390.6
• 申請日: 2017-03-29
• 公開（公告）號: CN108664489B
• 公開（公告）日: 2022-12-23
• 發(fā)明（設(shè)計）人: 唐文韜;鄭云文;胡珀;鄭興;郭晶;張強;范宇河;王放;楊勇
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 李華;王琦

1.一種網(wǎng)站內(nèi)容監(jiān)控方法，其特征在于其包括：

接收第一爬蟲程序根據(jù)預(yù)設(shè)的第一網(wǎng)站提供的第一網(wǎng)站內(nèi)容的信息從第二網(wǎng)站爬取到的第二網(wǎng)站內(nèi)容的信息；

根據(jù)所述第二網(wǎng)站內(nèi)容的信息確定所述第二網(wǎng)站收錄所述第一網(wǎng)站內(nèi)容的情況；

根據(jù)所述第二網(wǎng)站收錄所述第一網(wǎng)站內(nèi)容的情況，統(tǒng)計所述第二網(wǎng)站對所述第一網(wǎng)站的盜版數(shù)據(jù)；

其中，所述方法進(jìn)一步包括：

獲取訪問第一網(wǎng)站的第二爬蟲程序的特征；

根據(jù)預(yù)設(shè)的監(jiān)控策略對所述第二爬蟲程序的特征進(jìn)行統(tǒng)計，包括：統(tǒng)計第二爬蟲程序是低頻爬取還是高頻爬取、爬取的路徑是否是可疑路徑、是否是用采集器爬取。

2.根據(jù)權(quán)利要求1的方法，其中，第一網(wǎng)站內(nèi)容和第二網(wǎng)站內(nèi)容包括網(wǎng)絡(luò)出版物和/或在線播放的媒體內(nèi)容。

3.根據(jù)權(quán)利要求2的方法，其中，所述第一網(wǎng)站內(nèi)容的信息包括至少一個第一摘要信息項，所述第二網(wǎng)站內(nèi)容的信息包括：至少一個第二摘要信息項；

所述確定第二網(wǎng)站收錄第一網(wǎng)站內(nèi)容的情況包括：判斷所述至少一個第一摘要信息項是否與所述至少一個第二摘要信息項相匹配，如果匹配，則確定所述第二網(wǎng)站收錄了所述第二網(wǎng)站內(nèi)容。

4.根據(jù)權(quán)利要求3的方法，其中，第一爬蟲程序根據(jù)第一網(wǎng)站提供的第一網(wǎng)站內(nèi)容的信息從第二網(wǎng)站爬取第二網(wǎng)站內(nèi)容的信息包括：

獲取第二網(wǎng)站中用于在第二網(wǎng)站中搜索第二網(wǎng)站內(nèi)容的接口；

通過所述接口，根據(jù)所述至少一個第一摘要信息項，搜索第二網(wǎng)站內(nèi)容的信息。

5.根據(jù)權(quán)利要求1的方法，其中，根據(jù)所述第二網(wǎng)站收錄所述第一網(wǎng)站內(nèi)容的情況，統(tǒng)計所述第二網(wǎng)站對所述第一網(wǎng)站的盜版數(shù)據(jù)包括：

當(dāng)確定所述第二網(wǎng)站收錄了所述第一網(wǎng)站內(nèi)容時，統(tǒng)計所述第二網(wǎng)站收錄第一網(wǎng)站內(nèi)容的數(shù)量。

6.根據(jù)權(quán)利要求3的方法，其中，所述第一網(wǎng)站內(nèi)容和第二網(wǎng)站內(nèi)容為網(wǎng)絡(luò)出版物，所述根據(jù)所述第二網(wǎng)站收錄所述第一網(wǎng)站內(nèi)容的情況，統(tǒng)計所述第二網(wǎng)站對所述第一網(wǎng)站的盜版數(shù)據(jù)包括：

當(dāng)確定所述第二網(wǎng)站收錄了所述第一網(wǎng)站的網(wǎng)絡(luò)出版物時，統(tǒng)計第二網(wǎng)站收錄的第一網(wǎng)站的網(wǎng)絡(luò)出版物章節(jié)和對應(yīng)的第一網(wǎng)站的網(wǎng)絡(luò)出版物的章節(jié)更新時間差。

7.根據(jù)權(quán)利要求6的方法，其中，統(tǒng)計第二網(wǎng)站收錄的第一網(wǎng)站的網(wǎng)絡(luò)出版物章節(jié)和對應(yīng)的第一網(wǎng)站的網(wǎng)絡(luò)出版物的章節(jié)更新時間差包括：

獲取第一網(wǎng)站的第一網(wǎng)絡(luò)出版物的第一標(biāo)識；

從第二網(wǎng)站中的網(wǎng)絡(luò)出版物的閱讀入口中，獲取第二網(wǎng)站收錄的、和第一網(wǎng)絡(luò)出版物相同的第二網(wǎng)絡(luò)出版物的第二標(biāo)識；

定期通過所述第一標(biāo)識和第二標(biāo)識獲取第一網(wǎng)絡(luò)出版物和第二網(wǎng)絡(luò)出版物的章節(jié)標(biāo)題；

記錄首次獲取到第一出版物的第一章節(jié)標(biāo)題的時間和對應(yīng)的第二網(wǎng)絡(luò)出版物的第二章節(jié)標(biāo)題的時間；

比較首次獲取到第一章節(jié)標(biāo)題的時間和第二章節(jié)標(biāo)題的時間，計算二者的時間差，將該時間差作為第二網(wǎng)站的網(wǎng)絡(luò)出版物章節(jié)和第一網(wǎng)站對應(yīng)的網(wǎng)絡(luò)出版物的章節(jié)更新時間差。

8.根據(jù)權(quán)利要求1-7任一項權(quán)利要求的方法，其中，所述方法進(jìn)一步包括：

解析在預(yù)定時間段內(nèi)訪問第二網(wǎng)站的每日平均IP地址數(shù)量；

其中，統(tǒng)計第二網(wǎng)站對第一網(wǎng)站的盜版數(shù)據(jù)進(jìn)一步包括：統(tǒng)計在預(yù)定期間段內(nèi)訪問第二網(wǎng)站的每日平均IP地址數(shù)量。

9.根據(jù)權(quán)利要求1的方法，其中，

獲取訪問第一網(wǎng)站的第二爬蟲程序的特征包括：

獲取所述第二爬蟲程序訪問第一網(wǎng)站的路徑，根據(jù)所述路徑和預(yù)設(shè)的訪問第一網(wǎng)站受保護(hù)的接口的路徑，計算所述第二爬蟲程序在預(yù)定的時間段內(nèi)訪問第一網(wǎng)站受保護(hù)的接口占第二爬蟲程序訪問第一網(wǎng)站的接口的比例；

根據(jù)預(yù)設(shè)的監(jiān)控策略對所述第二爬蟲程序特征進(jìn)行統(tǒng)計包括：

判斷所述比例是否大于預(yù)設(shè)的比例；

如果所述比例大于預(yù)設(shè)的比例，則將所述第二爬蟲程序計入到訪問第一網(wǎng)站的爬蟲數(shù)目中。