[發(fā)明專利]一種抓取網(wǎng)站數(shù)據(jù)的方法和裝置

有效

• 申請?zhí)枺?/td>: 201610171622.X
• 申請日: 2016-03-24
• 公開（公告）號: CN107229631B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 朱德偉
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 姜勁;陸錦華

1.一種抓取網(wǎng)站數(shù)據(jù)的方法，其特征在于，包括：

獲取網(wǎng)站的網(wǎng)頁，確定該網(wǎng)頁的代碼質(zhì)量；

根據(jù)所述網(wǎng)頁的代碼質(zhì)量確定所述網(wǎng)站的抓取概率；

根據(jù)所述網(wǎng)站的抓取概率抓取所述網(wǎng)站的數(shù)據(jù)；

其中，所述確定該網(wǎng)頁的代碼質(zhì)量的步驟包括：

先根據(jù)如下的一種或幾種方式確定各方式對應(yīng)的得分：

使用冗余代碼檢查工具確定該網(wǎng)頁的冗余代碼得分，

統(tǒng)計重復(fù)關(guān)鍵詞得到該網(wǎng)頁的重復(fù)度得分，

檢查網(wǎng)頁的引用庫版本確定該網(wǎng)頁的引用庫版本得分，

使用代碼檢查工具確定該網(wǎng)頁的Javascript代碼質(zhì)量得分，

使用CSS代碼靜態(tài)檢查工具確定該網(wǎng)頁的CSS質(zhì)量得分，

通過將html標(biāo)簽與預(yù)先保存的不推薦使用的標(biāo)簽庫進(jìn)行對比得到該網(wǎng)頁的標(biāo)簽得分；

然后將所述得分之和作為該網(wǎng)頁的代碼質(zhì)量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述網(wǎng)站的網(wǎng)頁包括該網(wǎng)站首頁以及設(shè)定數(shù)目的該網(wǎng)站的二級頁面；

根據(jù)所述網(wǎng)頁的代碼質(zhì)量確定所述網(wǎng)站的抓取概率的步驟包括：

根據(jù)如下公式計算網(wǎng)頁的質(zhì)量平均分：網(wǎng)頁的質(zhì)量平均分＝(網(wǎng)站的首頁的代碼質(zhì)量分+網(wǎng)站的二級頁面的代碼質(zhì)量分)/(1+網(wǎng)站的二級頁面的數(shù)目)；

根據(jù)如下公式計算該網(wǎng)站的抓取概率，網(wǎng)站的抓取概率＝(設(shè)定分?jǐn)?shù)范圍的最大值-網(wǎng)頁的質(zhì)量平均分)/設(shè)定分?jǐn)?shù)范圍的最大值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述網(wǎng)站的抓取概率抓取所述網(wǎng)站的數(shù)據(jù)的步驟包括：

首先確定所述網(wǎng)站的抓取概率不小于預(yù)設(shè)的抓取概率的下限值，然后抓取所述網(wǎng)站的數(shù)據(jù)。

4.一種抓取網(wǎng)站數(shù)據(jù)的裝置，其特征在于，包括：

獲取模塊，用于獲取網(wǎng)站的網(wǎng)頁，然后確定該網(wǎng)頁的代碼質(zhì)量；

確定模塊，用于根據(jù)所述網(wǎng)頁的代碼質(zhì)量確定所述網(wǎng)站的抓取概率；

抓取模塊，用于根據(jù)所述網(wǎng)站的抓取概率抓取所述網(wǎng)站的數(shù)據(jù)；其中，所述獲取模塊還用于：先根據(jù)如下的一種或幾種方式確定各方式對應(yīng)的得分：使用冗余代碼檢查工具確定該網(wǎng)頁的冗余代碼得分，統(tǒng)計重復(fù)關(guān)鍵詞得到該網(wǎng)頁的重復(fù)度得分，檢查網(wǎng)頁的引用庫版本確定該網(wǎng)頁的引用庫版本得分，使用代碼檢查工具確定該網(wǎng)頁的Javascr ipt代碼質(zhì)量得分，使用CSS代碼靜態(tài)檢查工具確定該網(wǎng)頁的CSS質(zhì)量得分，通過將html標(biāo)簽與預(yù)先保存的不推薦使用的標(biāo)簽庫進(jìn)行對比得到該網(wǎng)頁的標(biāo)簽得分；然后將所述得分之和作為該網(wǎng)頁的代碼質(zhì)量。

5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，所述網(wǎng)站的網(wǎng)頁包括該網(wǎng)站首頁以及設(shè)定數(shù)目的該網(wǎng)站的二級頁面；所述確定模塊還用于：

根據(jù)如下公式計算網(wǎng)頁的質(zhì)量平均分：網(wǎng)頁的質(zhì)量平均分＝(網(wǎng)站的首頁的代碼質(zhì)量分+網(wǎng)站的二級頁面的代碼質(zhì)量分)/(1+網(wǎng)站的二級頁面的數(shù)目)；

根據(jù)如下公式計算該網(wǎng)站的抓取概率，網(wǎng)站的抓取概率＝(設(shè)定分?jǐn)?shù)范圍的最大值-網(wǎng)頁的質(zhì)量平均分)/設(shè)定分?jǐn)?shù)范圍的最大值。

6.根據(jù)權(quán)利要求4所述的裝置，其特征在于，所述抓取模塊還用于首先確定所述網(wǎng)站的抓取概率不小于預(yù)設(shè)的抓取概率的下限值，然后抓取所述網(wǎng)站的數(shù)據(jù)。

7.一種電子設(shè)備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如權(quán)利要求1-3中任一所述的方法。

8.一種計算機(jī)可讀介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-3中任一所述的方法。