[發(fā)明專利]采集互聯(lián)網(wǎng)金融網(wǎng)頁的項目列表的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911094400.2
• 申請日: 2019-11-11
• 公開（公告）號: CN111045659A
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計）人: 唐積強;吳震;施力;楊菁林;徐小磊;李焱余;胡曉光;劉剛;周洋
• 申請（專利權(quán)）人: 國家計算機網(wǎng)絡(luò)與信息安全管理中心;深圳市任子行科技開發(fā)有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30
• 代理公司: 深圳市順天達專利商標代理有限公司 44217
• 代理人: 郭偉剛

1.一種采集互聯(lián)網(wǎng)金融網(wǎng)頁的項目列表的方法，其特征在于，所述方法應(yīng)用于采集互聯(lián)網(wǎng)金融網(wǎng)頁的項目列表的系統(tǒng)，所述系統(tǒng)包括生成端和執(zhí)行端，所述方法包括：

所述腳本生成端展示互聯(lián)網(wǎng)金融網(wǎng)頁對應(yīng)的可視化配置界面；

所述腳本生成端根據(jù)用戶在所述可視化配置界面上的配置操作生成項目列表采集腳本，并將所述項目列表采集腳本存儲至數(shù)據(jù)庫；

當(dāng)時間到達所述項目列表采集腳本的執(zhí)行時間點時，所述腳本生成端從所述數(shù)據(jù)庫中取出所述項目列表采集腳本，并將所述項目列表采集腳本放入任務(wù)隊列；

所述腳本生成端將所述任務(wù)隊列中的項目列表采集腳本分發(fā)至所述執(zhí)行端；

所述執(zhí)行端運行所述項目列表采集腳本，得到項目列表采集信息，并將所述項目列表采集信息存儲至所述執(zhí)行端的本地文件系統(tǒng)。

2.如權(quán)利要求1所述的方法，其特征在于，所述腳本生成端展示互聯(lián)網(wǎng)金融網(wǎng)頁對應(yīng)的可視化配置界面，包括：

所述腳本生成端獲取互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼；

所述腳本生成端對所述經(jīng)過修改的網(wǎng)頁源碼進行渲染，得到并展示可視化配置界面。

3.如權(quán)利要求2所述的方法，其特征在于，所述腳本生成端獲取互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼，包括：

所述腳本生成端發(fā)起互聯(lián)網(wǎng)金融網(wǎng)頁開啟請求；

服務(wù)端接收所述互聯(lián)網(wǎng)金融網(wǎng)頁開啟請求，并通過所述服務(wù)端本地?zé)o頭瀏覽器將所述互聯(lián)網(wǎng)金融網(wǎng)頁開啟請求對應(yīng)的互聯(lián)網(wǎng)金融網(wǎng)頁的統(tǒng)一資源定位符發(fā)送至代理攔截器；

所述服務(wù)器接收所述代理攔截器基于所述互聯(lián)網(wǎng)金融網(wǎng)頁的統(tǒng)一資源定位符反饋的網(wǎng)頁源碼，并通過修改腳本對所述網(wǎng)頁源碼進行修改，得到互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼；

所述服務(wù)器將所述互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼反饋給所述腳本生成端，以供所述腳本生成端獲取所述互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼。

4.如權(quán)利要求1所述的方法，其特征在于，所述腳本生成端將所述任務(wù)隊列中的項目列表采集腳本分發(fā)至所述執(zhí)行端，包括：

所述腳本生成端根據(jù)所述執(zhí)行端可執(zhí)行的腳本數(shù)量M，將N個項目列表采集腳本分發(fā)至所述執(zhí)行端，其中，所述N小于或等于M。

5.如權(quán)利要求1所述的方法，其特征在于，所述執(zhí)行端運行所述項目列表采集腳本，包括：

所述執(zhí)行端啟動執(zhí)行端本地?zé)o頭瀏覽器引擎，并在所述執(zhí)行端本地?zé)o頭瀏覽器引擎上運行所述項目列表采集腳本。

6.一種采集互聯(lián)網(wǎng)金融網(wǎng)頁的項目列表的系統(tǒng)，其特征在于，所述系統(tǒng)包括腳本生成端和執(zhí)行端：

所述腳本生成端，用于展示互聯(lián)網(wǎng)金融網(wǎng)頁對應(yīng)的可視化配置界面；根據(jù)用戶在所述可視化配置界面上的配置操作生成項目列表采集腳本，并將所述項目列表采集腳本存儲至數(shù)據(jù)庫；當(dāng)時間到達所述項目列表采集腳本的執(zhí)行時間點時，從所述數(shù)據(jù)庫中取出所述項目列表采集腳本，并將所述項目列表采集腳本放入任務(wù)隊列；將所述任務(wù)隊列中的項目列表采集腳本分發(fā)至所述執(zhí)行端；

所述執(zhí)行端，用于運行所述項目列表采集腳本，得到項目列表采集信息，并將所述項目列表采集信息存儲至所述執(zhí)行端的本地文件系統(tǒng)。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述腳本生成端，用于：

獲取互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼；

對所述經(jīng)過修改的網(wǎng)頁源碼進行渲染，得到并展示可視化配置界面。

8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述腳本生成端，用于：

所述腳本生成端發(fā)起互聯(lián)網(wǎng)金融網(wǎng)頁開啟請求；

服務(wù)端接收所述互聯(lián)網(wǎng)金融網(wǎng)頁開啟請求，并通過所述服務(wù)端本地?zé)o頭瀏覽器將所述互聯(lián)網(wǎng)金融網(wǎng)頁開啟請求對應(yīng)的互聯(lián)網(wǎng)金融網(wǎng)頁的統(tǒng)一資源定位符發(fā)送至代理攔截器；

所述服務(wù)器接收所述代理攔截器基于所述互聯(lián)網(wǎng)金融網(wǎng)頁的統(tǒng)一資源定位符反饋的網(wǎng)頁源碼，并通過修改腳本對所述網(wǎng)頁源碼進行修改，得到互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼；

所述服務(wù)器將所述互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼反饋給所述腳本生成端，以供所述腳本生成端獲取所述互聯(lián)網(wǎng)金融網(wǎng)頁的經(jīng)過修改的網(wǎng)頁源碼。