[發(fā)明專利]一種可配置化的數(shù)據(jù)抓取方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910446581.4
• 申請(qǐng)日: 2019-05-27
• 公開（公告）號(hào): CN110188259A
• 公開（公告）日: 2019-08-30
• 發(fā)明（設(shè)計(jì)）人: 邱濤;丘水文;陳成樂
• 申請(qǐng)（專利權(quán)）人: 廈門商集網(wǎng)絡(luò)科技有限責(zé)任公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/955
• 代理公司: 福州科揚(yáng)專利事務(wù)所 35001
• 代理人: 何小星

1.一種可配置化的數(shù)據(jù)抓取方法，其特征在于，包括以下步驟：

確定需要抓取的目標(biāo)網(wǎng)站，并在站點(diǎn)配置頁面配置所述目標(biāo)網(wǎng)站的基本信息，包括站點(diǎn)類型、站點(diǎn)名稱、目標(biāo)編號(hào)、頁面編碼格式；

在用戶配置頁面配置可以登陸所述目標(biāo)網(wǎng)站的用戶的基本信息，包括用戶類型、登錄賬號(hào)/密碼、用戶編碼、用戶名稱；

在抓取URL配置頁面配置爬取登陸和抓取數(shù)據(jù)的URL基本信息，包括URL名稱、請(qǐng)求時(shí)的URL地址、上級(jí)URL、URL類型、請(qǐng)求方式、URL后綴類型；

在調(diào)度管理頁面配置抓取服務(wù)發(fā)起的時(shí)間；

生成一抓取作業(yè)，從所述目標(biāo)網(wǎng)站上抓取數(shù)據(jù)，具體步驟如下：

根據(jù)所述抓取服務(wù)發(fā)起的時(shí)間，開始執(zhí)行作業(yè)；

根據(jù)所述目標(biāo)網(wǎng)站的基本信息，打開所述目標(biāo)網(wǎng)站；

根據(jù)所述目標(biāo)網(wǎng)站的用戶的基本信息，輸入登陸賬號(hào)/密碼，登陸所述目標(biāo)網(wǎng)站；

根據(jù)所述URL的基本信息，打開抓取數(shù)據(jù)的URL，在所述目標(biāo)網(wǎng)站上執(zhí)行固定操作并抓取網(wǎng)頁內(nèi)容。

2.根據(jù)權(quán)利要求1所述的一種可配置化的數(shù)據(jù)抓取方法，其特征在于：

判斷所述目標(biāo)網(wǎng)站是否有驗(yàn)證碼登陸步驟，如有驗(yàn)證碼登陸步驟，則在驗(yàn)證碼輸入配置頁面配置驗(yàn)證碼輸入的基本信息，包括驗(yàn)證碼圖片類型、驗(yàn)證碼圖片語言、驗(yàn)證碼圖片字?jǐn)?shù)和驗(yàn)證碼大小寫；如無驗(yàn)證碼登陸步驟，則跳過驗(yàn)證碼輸入配置；

如目標(biāo)網(wǎng)站有驗(yàn)證碼登陸步驟，則抓取所述目標(biāo)網(wǎng)站中的驗(yàn)證碼圖片，根據(jù)所述驗(yàn)證碼輸入的基本信息識(shí)別驗(yàn)證碼圖片進(jìn)行登錄目標(biāo)網(wǎng)站，具體步驟如下：

利用網(wǎng)絡(luò)爬蟲從所述目標(biāo)網(wǎng)站中爬取驗(yàn)證碼圖片；

利用OCR技術(shù)，根據(jù)所述驗(yàn)證碼輸入的基本信息，對(duì)所述驗(yàn)證碼圖片進(jìn)行自動(dòng)識(shí)別，得到所述驗(yàn)證碼圖片中的驗(yàn)證碼信息；并將所述驗(yàn)證碼信息填入驗(yàn)證碼輸入框內(nèi)并提交，進(jìn)行登陸；

如登陸失敗，則轉(zhuǎn)為人工識(shí)別驗(yàn)證碼圖片，并在驗(yàn)證碼輸入框中輸入驗(yàn)證碼，進(jìn)行登陸。

3.根據(jù)權(quán)利要求1所述的一種可配置化的數(shù)據(jù)抓取方法，其特征在于，還包括一用戶密碼校驗(yàn)步驟，具體如下：

選擇要校驗(yàn)的一個(gè)或以上用戶，點(diǎn)擊進(jìn)行校驗(yàn)；

客戶端依次對(duì)選擇的用戶的登錄賬號(hào)/密碼進(jìn)行校驗(yàn)，并在后臺(tái)生成校驗(yàn)結(jié)果，所述校驗(yàn)結(jié)果包括登陸成功和登陸失敗，如校驗(yàn)結(jié)果是登陸失敗，還在后臺(tái)生成錯(cuò)誤信息，并列出相關(guān)的錯(cuò)誤信息日志地址；

點(diǎn)擊查詢獲取校驗(yàn)結(jié)果，如校驗(yàn)結(jié)果是登陸失敗，則根據(jù)所述錯(cuò)誤信息日志地址獲取錯(cuò)誤信息日志，分析錯(cuò)誤并進(jìn)行使得錯(cuò)誤得到解決。

4.根據(jù)權(quán)利要求1所述的一種可配置化的數(shù)據(jù)抓取方法，其特征在于：在URL參數(shù)配置頁面配置值為變量的請(qǐng)求參數(shù)，包括參數(shù)名稱、參數(shù)類型、參數(shù)值和參數(shù)說明。

5.一種可配置化的數(shù)據(jù)抓取裝置，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有指令，所述指令適于由處理器加載并執(zhí)行以下步驟：

確定需要抓取的目標(biāo)網(wǎng)站，并在站點(diǎn)配置頁面配置所述目標(biāo)網(wǎng)站的基本信息，包括站點(diǎn)類型、站點(diǎn)名稱、目標(biāo)編號(hào)、頁面編碼格式；

在用戶配置頁面配置可以登陸所述目標(biāo)網(wǎng)站的用戶的基本信息，包括用戶類型、登錄賬號(hào)/密碼、用戶編碼、用戶名稱；

在抓取URL配置頁面配置爬取登陸和抓取數(shù)據(jù)的URL基本信息，包括URL名稱、請(qǐng)求時(shí)的URL地址、上級(jí)URL、URL類型、請(qǐng)求方式、URL后綴類型；

在調(diào)度管理頁面配置抓取服務(wù)發(fā)起的時(shí)間；

生成一抓取作業(yè)，從所述目標(biāo)網(wǎng)站上抓取數(shù)據(jù)，具體步驟如下：

根據(jù)所述抓取服務(wù)發(fā)起的時(shí)間，開始執(zhí)行作業(yè)；

根據(jù)所述目標(biāo)網(wǎng)站的基本信息，打開所述目標(biāo)網(wǎng)站；

根據(jù)所述目標(biāo)網(wǎng)站的用戶的基本信息，輸入登陸賬號(hào)/密碼，登陸所述目標(biāo)網(wǎng)站；

根據(jù)所述URL的基本信息，打開抓取數(shù)據(jù)的URL，在所述目標(biāo)網(wǎng)站上執(zhí)行固定操作并抓取網(wǎng)頁內(nèi)容。