[發明專利]采集互聯網金融網頁的項目列表的方法及系統

在審

• 申請號: 201911094400.2
• 申請日: 2019-11-11
• 公開（公告）號: CN111045659A
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 唐積強;吳震;施力;楊菁林;徐小磊;李焱余;胡曉光;劉剛;周洋
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心;深圳市任子行科技開發有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30
• 代理公司: 深圳市順天達專利商標代理有限公司 44217
• 代理人: 郭偉剛

本發明公開了一種采集互聯網金融網頁的項目列表的方法及系統，該方法包括：腳本生成端展示互聯網金融網頁對應的可視化配置界面；腳本生成端根據用戶在可視化配置界面上的配置操作生成項目列表采集腳本，并將項目列表采集腳本存儲至數據庫；當時間到達項目列表采集腳本的執行時間點時，腳本生成端從數據庫中取出項目列表采集腳本，并將項目列表采集腳本放入任務隊列；腳本生成端將任務隊列中的項目列表采集腳本分發至執行端；執行端運行項目列表采集腳本，得到項目列表采集信息，并將項目列表采集信息存儲至執行端的本地文件系統。通過本發明，通過可視化配置方式，極大的簡化了腳本配置工作，從而提高了數據采集效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及采集互聯網金融網頁的項目列表的方法及系統。

背景技術

現有技術中，從網頁上獲取信息一般通過爬蟲腳本的方式實現。但爬蟲腳本需要根據技術人員編寫。但這種方式需要分析目標網站的網頁組織形式，數據接口以及頁面上Javascript邏輯代碼，編寫出相應的程序代碼或腳本，來實現根據某種規則過濾出特定的數據。即當需要從不同的網頁上爬取數據時便需要編寫不同的爬蟲腳本，對技術人員來說無疑是巨大的工作量，腳本編寫工作費時費力，從而導致數據采集效率低下。

發明內容

本發明的主要目的在于解決現有技術中腳本編寫工作費時費力，導致數據采集效率低下的技術問題。

為實現上述目的，本發明提供一種采集互聯網金融網頁的項目列表的方法，所述方法應用于采集互聯網金融網頁的項目列表的系統，所述系統包括生成端和執行端，所述方法包括：

所述腳本生成端展示互聯網金融網頁對應的可視化配置界面；

所述腳本生成端根據用戶在所述可視化配置界面上的配置操作生成項目列表采集腳本，并將所述項目列表采集腳本存儲至數據庫；

當時間到達所述項目列表采集腳本的執行時間點時，所述腳本生成端從所述數據庫中取出所述項目列表采集腳本，并將所述項目列表采集腳本放入任務隊列；

所述腳本生成端將所述任務隊列中的項目列表采集腳本分發至所述執行端；

所述執行端運行所述項目列表采集腳本，得到項目列表采集信息，并將所述項目列表采集信息存儲至所述執行端的本地文件系統。

可選的，所述腳本生成端展示互聯網金融網頁對應的可視化配置界面，包括：

所述腳本生成端獲取互聯網金融網頁的經過修改的網頁源碼；

所述腳本生成端對所述經過修改的網頁源碼進行渲染，得到并展示可視化配置界面。

可選的，所述腳本生成端獲取互聯網金融網頁的經過修改的網頁源碼，包括：

所述腳本生成端發起互聯網金融網頁開啟請求；

服務端接收所述互聯網金融網頁開啟請求，并通過所述服務端本地無頭瀏覽器將所述互聯網金融網頁開啟請求對應的互聯網金融網頁的統一資源定位符發送至代理攔截器；

所述服務器接收所述代理攔截器基于所述互聯網金融網頁的統一資源定位符反饋的網頁源碼，并通過修改腳本對所述網頁源碼進行修改，得到互聯網金融網頁的經過修改的網頁源碼；

所述服務器將所述互聯網金融網頁的經過修改的網頁源碼反饋給所述腳本生成端，以供所述腳本生成端獲取所述互聯網金融網頁的經過修改的網頁源碼。

可選的，所述腳本生成端將所述任務隊列中的項目列表采集腳本分發至所述執行端，包括：

所述腳本生成端根據所述執行端可執行的腳本數量M，將N個項目列表采集腳本分發至所述執行端，其中，所述N小于或等于M。

可選的，所述執行端運行所述項目列表采集腳本，包括：