[發(fā)明專利]一種針對(duì)網(wǎng)站參數(shù)的爬蟲方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910879247.8
• 申請(qǐng)日: 2019-09-18
• 公開（公告）號(hào): CN110598079A
• 公開（公告）日: 2019-12-20
• 發(fā)明（設(shè)計(jì)）人: 宋嬌
• 申請(qǐng)（專利權(quán)）人: 山東愛城市網(wǎng)信息技術(shù)有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951
• 代理公司: 37100 濟(jì)南信達(dá)專利事務(wù)所有限公司
• 代理人: 孫晶偉

1.一種針對(duì)網(wǎng)站參數(shù)的爬蟲方法，其特征是采集網(wǎng)站網(wǎng)址進(jìn)行參數(shù)分析，區(qū)分可變參數(shù)與固定參數(shù)，

分析可變參數(shù)的生成與變化規(guī)律，區(qū)分可直接生成的可變參數(shù)和加密可變參數(shù)，

推測加密可變參數(shù)的生成與變化規(guī)律，

固定參數(shù)、可直接生成的可變參數(shù)及加密可變參數(shù)形成可用參數(shù)，利用可用參數(shù)爬蟲完成網(wǎng)站數(shù)據(jù)的爬取。

2.根據(jù)權(quán)利要求1所述的方法，其特征是利用網(wǎng)站異步加載鏈接或者網(wǎng)站頁面直接返回的內(nèi)容推測加密可變參數(shù)的生成與變化規(guī)律。

3.根據(jù)權(quán)利要求2所述的方法，其特征是需要查找參數(shù)生成方式的加密可變參數(shù)利用網(wǎng)站異步加載鏈接推測生成與變化規(guī)律：通過瀏覽器工具尋找網(wǎng)站訪問信息的異步加載鏈接，在異步加載鏈接中尋找JS頁面的關(guān)鍵函數(shù)，通過調(diào)試確定關(guān)鍵函數(shù)的參數(shù)，獲取加密可變參數(shù)的生成與變化規(guī)律。

4.根據(jù)權(quán)利要求3所述的方法，其特征是調(diào)試確定關(guān)鍵函數(shù)的參數(shù)時(shí)，找到關(guān)鍵函數(shù)入口，直接調(diào)用JS頁面中的關(guān)鍵函數(shù)，通過原網(wǎng)站的JS邏輯，直接獲取加密可變參數(shù)；

或者調(diào)試確定關(guān)鍵函數(shù)的參數(shù)時(shí)，分析JS頁面加密方式將JS源碼進(jìn)行拆解，找到關(guān)鍵函數(shù)，添加關(guān)鍵函數(shù)的調(diào)用邏輯，根據(jù)關(guān)鍵函數(shù)的參數(shù)，獲取加密可變參數(shù)。

5.根據(jù)權(quán)利要求2所述的方法，其特征是網(wǎng)站的首頁或者其他相關(guān)頁面中，由網(wǎng)站直接返回已通過網(wǎng)站的算法生成的加密可變參數(shù)，將網(wǎng)站頁面直接返回內(nèi)容中的加密可變參數(shù)用于爬蟲請(qǐng)求鏈接，獲取下次的請(qǐng)求鏈接。

6.根據(jù)權(quán)利要求1-5任一所述的方法，其特征是可直接生成的可變參數(shù)從網(wǎng)站中直接獲得，包括但不限于時(shí)間參數(shù)、翻頁參數(shù)及分類參數(shù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征是所述網(wǎng)站網(wǎng)址包括GET方式訪問的網(wǎng)址和/或POST方式訪問的網(wǎng)址。

8.一種針對(duì)網(wǎng)站參數(shù)的爬蟲工具，其特征是包括采集分析模塊、生成模塊、爬取模塊，

采集分析模塊采集網(wǎng)站網(wǎng)址進(jìn)行參數(shù)分析，區(qū)分可變參數(shù)與固定參數(shù)，

分析可變參數(shù)的生成與變化規(guī)律，區(qū)分可直接生成的可變參數(shù)和加密可變參數(shù)，

推測加密可變參數(shù)的生成與變化規(guī)律，

生成模塊將固定參數(shù)、可直接生成的可變參數(shù)及加密可變參數(shù)形成可用參數(shù)，爬取模塊利用可用參數(shù)爬蟲完成網(wǎng)站數(shù)據(jù)的爬取。