[發(fā)明專利]一種網(wǎng)頁(yè)內(nèi)容抓取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310033159.9
• 申請(qǐng)日: 2013-01-28
• 公開(kāi)（公告）號(hào): CN103077250A
• 公開(kāi)（公告）日: 2013-05-01
• 發(fā)明（設(shè)計(jì)）人: 張宗宇;崔世起;楊青
• 申請(qǐng)（專利權(quán)）人: 人民搜索網(wǎng)絡(luò)股份公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

1.一種網(wǎng)頁(yè)內(nèi)容抓取方法，其特征在于，包括：

獲取網(wǎng)頁(yè)的URL信息；

識(shí)別所述URL信息中包含的路徑信息和參數(shù)信息；

對(duì)于路徑信息相同的URL信息進(jìn)行聚類，得到包含多個(gè)URL信息的URL信息集；

將所述URL信息集中，在每個(gè)URL信息中均出現(xiàn)并且參數(shù)值不變的參數(shù)，確定為有效參數(shù)；

抓取有效URL信息對(duì)應(yīng)的網(wǎng)頁(yè)內(nèi)容；

其中，所述有效URL信息中的參數(shù)均為有效參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

將所述URL信息集中，在每個(gè)URL信息中均出現(xiàn)但是參數(shù)值變化的參數(shù)，或者未在全部URL信息中均出現(xiàn)的參數(shù)，確定為無(wú)效參數(shù)；

對(duì)于包含無(wú)效參數(shù)的URL信息對(duì)應(yīng)的網(wǎng)頁(yè)內(nèi)容，不再進(jìn)行抓取。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定無(wú)效參數(shù)的過(guò)程，還包括：

獲取所述URL信息集中的第一URL信息和第二URL信息；所述第一URL信息和第二URL信息中包含相同的第一參數(shù)，且所述第一參數(shù)在所述第一URL信息和第二URL信息中具有不同的參數(shù)值；

獲取所述第一URL信息對(duì)應(yīng)的第一網(wǎng)頁(yè)內(nèi)容以及所述第二URL信息對(duì)應(yīng)的第二網(wǎng)頁(yè)內(nèi)容；

判斷所述第一網(wǎng)頁(yè)內(nèi)容與所述第二網(wǎng)頁(yè)內(nèi)容是否相同；

如果相同，則將所述第一參數(shù)確定為無(wú)效參數(shù)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，還包括：

在確定出所述無(wú)效參數(shù)后，在預(yù)設(shè)時(shí)間內(nèi)對(duì)所述無(wú)效參數(shù)進(jìn)行驗(yàn)證，判斷是否出現(xiàn)反例；

如果出現(xiàn)反例，則將所述無(wú)效參數(shù)確定為有效參數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對(duì)所述無(wú)效參數(shù)進(jìn)行驗(yàn)證，判斷是否出現(xiàn)反例，包括：

獲取包含無(wú)效參數(shù)的第三URL信息對(duì)應(yīng)的第三網(wǎng)頁(yè)內(nèi)容；

刪除所述第三URL信息中的無(wú)效參數(shù)，得到第四URL信息；

獲取所述第四URL信息對(duì)應(yīng)的第四網(wǎng)頁(yè)內(nèi)容；

判斷所述第三網(wǎng)頁(yè)內(nèi)容與所述第四網(wǎng)頁(yè)內(nèi)容是否相同；

如果不相同，則確定出現(xiàn)反例。

6.一種網(wǎng)頁(yè)內(nèi)容抓取裝置，其特征在于，包括：

信息獲取模塊，用于獲取網(wǎng)頁(yè)的URL信息；

信息識(shí)別模塊，用于識(shí)別所述URL信息中包含的路徑信息和參數(shù)信息；

聚類模塊，用于對(duì)于路徑信息相同的URL信息進(jìn)行聚類，得到包含多個(gè)URL信息的URL信息集；

有效參數(shù)確定模塊，用于將所述URL信息集中，在每個(gè)URL信息中均出現(xiàn)并且參數(shù)值不變的參數(shù)，確定為有效參數(shù)；

網(wǎng)頁(yè)內(nèi)容抓取模塊，用于抓取有效URL信息對(duì)應(yīng)的網(wǎng)頁(yè)內(nèi)容；

其中，所述有效URL信息中的參數(shù)均為有效參數(shù)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括：

無(wú)效參數(shù)確定模塊，用于將所述URL信息集中，在每個(gè)URL信息中均出現(xiàn)但是參數(shù)值變化的參數(shù)，或者未在全部URL信息中均出現(xiàn)的參數(shù)，確定為無(wú)效參數(shù)；

無(wú)效參數(shù)過(guò)濾模塊，用于對(duì)于包含無(wú)效參數(shù)的URL信息對(duì)應(yīng)的網(wǎng)頁(yè)內(nèi)容，不再進(jìn)行抓取。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述聚類模塊，包括：

第一URL信息獲取單元，用于獲取所述URL信息集中的第一URL信息和第二URL信息；所述第一URL信息和第二URL信息中包含相同的第一參數(shù)，且所述第一參數(shù)在所述第一URL信息和第二URL信息中具有不同的參數(shù)值；

第一及第二網(wǎng)頁(yè)內(nèi)容獲取單元，用于獲取所述第一URL信息對(duì)應(yīng)的第一網(wǎng)頁(yè)內(nèi)容以及所述第二URL信息對(duì)應(yīng)的第二網(wǎng)頁(yè)內(nèi)容；

第一判斷單元，用于判斷所述第一網(wǎng)頁(yè)內(nèi)容與所述第二網(wǎng)頁(yè)內(nèi)容是否相同；

無(wú)效參數(shù)確定單元，用于當(dāng)所述第一判斷單元的判斷結(jié)果為是時(shí)，將所述第一參數(shù)確定為無(wú)效參數(shù)。

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括：

驗(yàn)證模塊，用于在確定出所述無(wú)效參數(shù)后，在預(yù)設(shè)時(shí)間內(nèi)對(duì)所述無(wú)效參數(shù)進(jìn)行驗(yàn)證，判斷是否出現(xiàn)反例；

無(wú)效參數(shù)變更模塊，用于當(dāng)所述驗(yàn)證模塊的判斷結(jié)果為是時(shí)，將所述無(wú)效參數(shù)確定為有效參數(shù)。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述驗(yàn)證模塊包括：

第三網(wǎng)頁(yè)內(nèi)容獲取單元，用于獲取包含無(wú)效參數(shù)的第三URL信息對(duì)應(yīng)的第三網(wǎng)頁(yè)內(nèi)容；

無(wú)效參數(shù)刪除單元，用于刪除所述第三URL信息中的無(wú)效參數(shù)，得到第四URL信息；

第四網(wǎng)頁(yè)內(nèi)容獲取單元，用于獲取所述第四URL信息對(duì)應(yīng)的第四網(wǎng)頁(yè)內(nèi)容；

第二判斷單元，用于判斷所述第三網(wǎng)頁(yè)內(nèi)容與所述第四網(wǎng)頁(yè)內(nèi)容是否相同；

反例確定單元，用于當(dāng)所述第二判斷單元的判斷結(jié)果為否時(shí)，確定出現(xiàn)反例。