[發(fā)明專利]爬取數(shù)據(jù)的方法、裝置、介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110636165.8
• 申請(qǐng)日: 2021-06-08
• 公開(kāi)（公告）號(hào): CN113392301A
• 公開(kāi)（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 楊光;周天星
• 申請(qǐng)（專利權(quán)）人: 北京精準(zhǔn)溝通傳媒科技股份有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/955
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種爬取數(shù)據(jù)的方法，其特征在于，包括：

獲取與待爬取目標(biāo)的爬蟲(chóng)任務(wù)相關(guān)的配置數(shù)據(jù)；

從所述配置數(shù)據(jù)中獲取第一動(dòng)態(tài)請(qǐng)求信息；

根據(jù)所述第一動(dòng)態(tài)請(qǐng)求信息配置第一動(dòng)態(tài)請(qǐng)求模板，所述第一動(dòng)態(tài)請(qǐng)求信息包括關(guān)聯(lián)于第一動(dòng)態(tài)請(qǐng)求的第一請(qǐng)求方法和第一動(dòng)態(tài)請(qǐng)求URL，所述第一動(dòng)態(tài)請(qǐng)求URL中包含第一動(dòng)態(tài)參數(shù)；

從所述第一動(dòng)態(tài)參數(shù)的數(shù)據(jù)源獲取所述第一動(dòng)態(tài)參數(shù)對(duì)應(yīng)的第一數(shù)據(jù)集合；

基于所述第一數(shù)據(jù)集合和所述第一動(dòng)態(tài)請(qǐng)求模板生成第一動(dòng)態(tài)請(qǐng)求集合；

基于所述第一動(dòng)態(tài)請(qǐng)求集合進(jìn)行下載，獲取第一響應(yīng)數(shù)據(jù)，所述第一響應(yīng)數(shù)據(jù)用于被解析生成第一結(jié)果數(shù)據(jù)，所述第一結(jié)果數(shù)據(jù)為具有特定格式的所述待爬取目標(biāo)的部分?jǐn)?shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，按照預(yù)定時(shí)間周期從所述第一動(dòng)態(tài)參數(shù)的數(shù)據(jù)源獲取所述第一動(dòng)態(tài)參數(shù)對(duì)應(yīng)的第一數(shù)據(jù)集合，從而動(dòng)態(tài)地生成所述第一動(dòng)態(tài)請(qǐng)求集合。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一數(shù)據(jù)集合的數(shù)據(jù)包含于基于第二固定請(qǐng)求爬取并解析出的第二結(jié)果數(shù)據(jù)中，所述第二結(jié)果數(shù)據(jù)存儲(chǔ)在所述數(shù)據(jù)源中，其中所述第二固定請(qǐng)求為包含固定請(qǐng)求URL的請(qǐng)求并且所述第一結(jié)果數(shù)據(jù)和所述第二結(jié)果數(shù)據(jù)的格式互不相同。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

從所述配置數(shù)據(jù)中獲取第二固定請(qǐng)求信息，根據(jù)所述第二固定請(qǐng)求信息封裝生成第二固定請(qǐng)求；

基于所述第二固定請(qǐng)求進(jìn)行下載，獲取第二響應(yīng)數(shù)據(jù)；

從所述第二響應(yīng)數(shù)據(jù)中解析出所述第二結(jié)果數(shù)據(jù)并存儲(chǔ)到所述數(shù)據(jù)源。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一數(shù)據(jù)集合的數(shù)據(jù)包含于基于第三動(dòng)態(tài)請(qǐng)求爬取并解析出的第三結(jié)果數(shù)據(jù)中，所述第三結(jié)果數(shù)據(jù)存儲(chǔ)在所述數(shù)據(jù)源中，其中所述第三動(dòng)態(tài)請(qǐng)求為包含第三動(dòng)態(tài)請(qǐng)求URL的請(qǐng)求并且其中所述第一結(jié)果數(shù)據(jù)和所述第三結(jié)果數(shù)據(jù)的格式互不相同。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)源為數(shù)據(jù)庫(kù)，并且所述從所述第一動(dòng)態(tài)參數(shù)的數(shù)據(jù)源獲取所述第一動(dòng)態(tài)參數(shù)對(duì)應(yīng)的第一數(shù)據(jù)集合，包括：

利用數(shù)據(jù)庫(kù)查詢指令來(lái)獲取所述第一數(shù)據(jù)集合。

7.一種爬取數(shù)據(jù)的裝置，其特征在于，包括：

配置數(shù)據(jù)獲取模塊，其配置為獲取與待爬取目標(biāo)的爬蟲(chóng)任務(wù)相關(guān)的配置數(shù)據(jù)；

第一動(dòng)態(tài)請(qǐng)求信息獲取模塊，其配置為從所述配置數(shù)據(jù)中獲取第一動(dòng)態(tài)請(qǐng)求信息；

模板配置模塊，其配置為根據(jù)所述第一動(dòng)態(tài)請(qǐng)求信息配置第一動(dòng)態(tài)請(qǐng)求模板，所述第一動(dòng)態(tài)請(qǐng)求模板包含第一動(dòng)態(tài)參數(shù)；

數(shù)據(jù)集合獲取模塊，其配置為獲取所述第一動(dòng)態(tài)參數(shù)對(duì)應(yīng)的第一數(shù)據(jù)集合；

請(qǐng)求生成模塊，其配置為基于所述第一數(shù)據(jù)集合和所述第一動(dòng)態(tài)請(qǐng)求模板生成動(dòng)態(tài)請(qǐng)求集合；

響應(yīng)數(shù)據(jù)獲取模塊，其配置為基于所述第一動(dòng)態(tài)請(qǐng)求集合進(jìn)行下載，獲取第一響應(yīng)數(shù)據(jù)，所述第一響應(yīng)數(shù)據(jù)用于被解析生成第一結(jié)果數(shù)據(jù)，所述第一結(jié)果數(shù)據(jù)為具有特定格式的所述待爬取目標(biāo)的部分?jǐn)?shù)據(jù)。

8.一種非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可執(zhí)行代碼，其特征在于，所述計(jì)算機(jī)可執(zhí)行代碼在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1～6中任一項(xiàng)所述的方法。

9.一種電子設(shè)備，包括處理器、存儲(chǔ)器以及其上存儲(chǔ)的計(jì)算機(jī)可執(zhí)行代碼，其特征在于，當(dāng)所述處理器執(zhí)行所述計(jì)算機(jī)可執(zhí)行代碼時(shí)實(shí)現(xiàn)如權(quán)利要求1～6中任一項(xiàng)所述的方法。