[發(fā)明專(zhuān)利]網(wǎng)頁(yè)抓取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611121344.3
• 申請(qǐng)日: 2016-12-08
• 公開(kāi)（公告）號(hào): CN108197125B
• 公開(kāi)（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 程志峰;邱柏宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F16/951
• 分類(lèi)號(hào): G06F16/951;G06F16/955;A63F13/35;A63F13/60;A63F13/77
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 朱雅男

1.一種網(wǎng)頁(yè)抓取方法，其特征在于，所述方法包括：

設(shè)置TCP擁塞窗口的初始值為預(yù)設(shè)閾值，所述預(yù)設(shè)閾值是用于接收抓取到的目標(biāo)網(wǎng)頁(yè)頁(yè)面時(shí)所需要的經(jīng)驗(yàn)上限值；

由本次使用的抓取服務(wù)器抓取游戲網(wǎng)站上的所述目標(biāo)網(wǎng)頁(yè)頁(yè)面，所述本次使用的抓取服務(wù)器為n個(gè)抓取服務(wù)器中與所述游戲網(wǎng)站之間的通信時(shí)間最短，且與所述游戲網(wǎng)站對(duì)應(yīng)的游戲服務(wù)器屬于相同位置區(qū)域的同一互聯(lián)網(wǎng)服務(wù)商的所述抓取服務(wù)器，n為大于1的整數(shù)；

根據(jù)所述目標(biāo)網(wǎng)頁(yè)頁(yè)面的網(wǎng)頁(yè)源代碼，識(shí)別H5游戲?qū)?yīng)的網(wǎng)頁(yè)頁(yè)面；

對(duì)所述H5游戲?qū)?yīng)的網(wǎng)頁(yè)頁(yè)面進(jìn)行動(dòng)態(tài)渲染，得到渲染后的網(wǎng)頁(yè)頁(yè)面；

從所述渲染后的網(wǎng)頁(yè)頁(yè)面中提取所述H5游戲?qū)?yīng)的游戲詳情信息；

其中，所述游戲詳情信息包括游戲名、游戲圖標(biāo)、游戲運(yùn)行圖片、游戲詳情、游戲運(yùn)行地址、游戲類(lèi)型中的至少一種。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)網(wǎng)頁(yè)頁(yè)面的網(wǎng)頁(yè)源代碼，識(shí)別H5游戲?qū)?yīng)的網(wǎng)頁(yè)頁(yè)面，包括：

檢測(cè)所述目標(biāo)網(wǎng)頁(yè)頁(yè)面的網(wǎng)頁(yè)源代碼是否符合預(yù)定條件；

若所述網(wǎng)頁(yè)源代碼符合所述預(yù)定條件，則將所述網(wǎng)頁(yè)頁(yè)面識(shí)別為所述H5游戲?qū)?yīng)的網(wǎng)頁(yè)頁(yè)面；

其中，所述預(yù)定條件中的至少一種條件：

所述網(wǎng)頁(yè)頁(yè)面的主題名稱(chēng)與預(yù)設(shè)游戲關(guān)鍵字匹配；和/或，

攜帶有采用預(yù)定渲染技術(shù)的代碼，所述預(yù)定渲染技術(shù)包括canvas和WebGL中的至少一種；和/或，

攜帶有預(yù)定游戲引擎對(duì)應(yīng)的代碼，所述預(yù)定游戲引擎包括Egret白鷺引擎，cocos2dx-js引擎，Game Maker Studio引擎，Construct 2引擎中的至少一個(gè)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)定條件包括至少兩種條件；

檢測(cè)所述目標(biāo)網(wǎng)頁(yè)頁(yè)面的網(wǎng)頁(yè)源代碼是否符合預(yù)定條件，包括：

檢測(cè)所述目標(biāo)網(wǎng)頁(yè)頁(yè)面的網(wǎng)頁(yè)源代碼是否符合第i種條件；

根據(jù)檢測(cè)結(jié)果和如下公式計(jì)算所述網(wǎng)頁(yè)源代碼是所述H5游戲?qū)?yīng)的網(wǎng)頁(yè)頁(yè)面的概率值：

檢測(cè)所述概率值是否大于預(yù)設(shè)閾值；

若所述概率值大于所述預(yù)設(shè)閾值，則確定所述網(wǎng)頁(yè)源代碼符合所述預(yù)定條件；

其中，y表示所述概率值，a_i表示第i種所述條件對(duì)應(yīng)的權(quán)值，當(dāng)所述網(wǎng)頁(yè)源代碼符合所述第i種條件時(shí)，b_i的取值為大于0的預(yù)定值，當(dāng)所述網(wǎng)頁(yè)源代碼不符合所述第i種條件時(shí)，b_i的取值為0，1≤n≤N，N為所述預(yù)定條件的個(gè)數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述抓取游戲網(wǎng)站上的目標(biāo)網(wǎng)頁(yè)頁(yè)面，包括：

通過(guò)網(wǎng)絡(luò)爬蟲(chóng)抓取所述游戲網(wǎng)站的第一層URL對(duì)應(yīng)的第一網(wǎng)頁(yè)頁(yè)面；

從所述第一網(wǎng)頁(yè)頁(yè)面中獲取第二層URL，所述第二層URL是與游戲分類(lèi)對(duì)應(yīng)的URL；

通過(guò)所述網(wǎng)絡(luò)爬蟲(chóng)抓取所述第二層URL對(duì)應(yīng)的第二網(wǎng)頁(yè)頁(yè)面；

從所述第二網(wǎng)頁(yè)頁(yè)面中獲取第三層URL，所述第三層URL包括與所述H5游戲?qū)?yīng)的URL；

通過(guò)所述網(wǎng)絡(luò)爬蟲(chóng)抓取所述第三層URL對(duì)應(yīng)的第三網(wǎng)頁(yè)頁(yè)面，將所述第三網(wǎng)頁(yè)頁(yè)面確定為所述目標(biāo)網(wǎng)頁(yè)頁(yè)面。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過(guò)所述網(wǎng)絡(luò)爬蟲(chóng)抓取所述第二層URL對(duì)應(yīng)的第二網(wǎng)頁(yè)頁(yè)面之后，還包括：

從所述第二網(wǎng)頁(yè)頁(yè)面中提取所述游戲名和游戲簡(jiǎn)介信息；

將所述游戲簡(jiǎn)介信息添加至與所述游戲名對(duì)應(yīng)的所述游戲詳情信息中。