[發(fā)明專利]一種網(wǎng)頁數(shù)據(jù)采集方法、裝置、設備和計算機存儲介質

在審

• 申請?zhí)枺?/td>: 202010515028.4
• 申請日: 2020-06-08
• 公開（公告）號: CN111859235A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設計）人: 鄭霖;林育民
• 申請（專利權）人: 瑞數(shù)信息技術（上海）有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F8/71;H04L29/08
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權代理事務所(普通合伙) 11412
• 代理人: 袁媛

本申請?zhí)峁┝艘环N網(wǎng)頁數(shù)據(jù)采集方法、裝置、設備和計算機存儲介質，其中方法包括：嵌入網(wǎng)頁中的網(wǎng)頁腳本在運行后，讀取服務器端針對所述網(wǎng)頁下發(fā)的配置文件，所述配置文件包括要掃描的網(wǎng)頁元素以及要采集的操作行為數(shù)據(jù)的類型；依據(jù)所述配置文件，掃描所述網(wǎng)頁元素并采集所述網(wǎng)頁元素的所述類型的操作行為數(shù)據(jù)，并將掃描結果和采集結果上傳至服務器端。通過本申請能夠降低開發(fā)人員的人力成本，提高靈活性。

【技術領域】

本申請涉及計算機安全技術領域，特別涉及一種網(wǎng)頁數(shù)據(jù)采集方法、裝置、設備和計算機存儲介質。

【背景技術】

本部分旨在為權利要求書中陳述的本申請的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就被認為是現(xiàn)有技術。

隨著網(wǎng)絡安全業(yè)務的發(fā)展，網(wǎng)絡安全管理常常需要在各種應用網(wǎng)站上進行數(shù)據(jù)采集以用于判別諸如批量注冊登錄、薅羊毛等自動化惡意訪問行為。對此類數(shù)據(jù)采集通常需要采用在網(wǎng)頁上“埋點”采集的方式，即針對每一個具體頁面的關鍵界面元素附近編寫入新的代碼來采集相關數(shù)據(jù)，但這種埋點技術存在以下缺點：

1)由于每個頁面元素及業(yè)務功能不同，因此在進行人工埋點時代碼編寫及維護代價高昂；

2)一旦埋入代碼后無法隨時根據(jù)需要進行采集行為的調(diào)整，而需要等待代碼發(fā)布新版本時才能調(diào)整更新，靈活性差。

【發(fā)明內(nèi)容】

有鑒于此，本申請?zhí)峁┝艘环N網(wǎng)頁數(shù)據(jù)采集方法、裝置、設備和計算機存儲介質，以便于解決上述缺點中的至少一種。

具體技術方案如下：

第一方面，本申請?zhí)峁┝艘环N網(wǎng)頁數(shù)據(jù)采集方法，該方法包括：

嵌入網(wǎng)頁中的網(wǎng)頁腳本在運行后，讀取服務器端針對所述網(wǎng)頁下發(fā)的配置文件，所述配置文件包括要掃描的網(wǎng)頁元素以及要采集的操作行為數(shù)據(jù)的類型；

依據(jù)所述配置文件，掃描所述網(wǎng)頁元素并采集所述網(wǎng)頁元素的所述類型的操作行為數(shù)據(jù)，并將掃描結果和采集結果上傳至服務器端。

根據(jù)本申請一優(yōu)選實施方式，所述網(wǎng)頁腳本采用腳本Script標簽的形式嵌入網(wǎng)頁中。

根據(jù)本申請一優(yōu)選實施方式，所述配置文件還包括：要檢測的瀏覽器運行環(huán)境數(shù)據(jù)的類型；

該方法還包括：

所述網(wǎng)頁腳本依據(jù)所述配置文件檢測瀏覽器運行環(huán)境數(shù)據(jù)，并將檢測結果上傳至服務器端。

根據(jù)本申請一優(yōu)選實施方式，所述配置文件還包括：所述采集和上傳過程中所采用的算法。

根據(jù)本申請一優(yōu)選實施方式，該方法還包括：

所述網(wǎng)頁腳本重新讀取所述服務器端下發(fā)的配置文件，該配置文件為所述服務器端依據(jù)所述網(wǎng)頁腳本上傳的結果調(diào)整后的配置文件。

第二方面，本申請?zhí)峁┝艘环N網(wǎng)頁數(shù)據(jù)采集方法，該方法包括：

服務器端接收嵌入網(wǎng)頁中的網(wǎng)頁腳本上傳的掃描結果和采集結果，并通過管理平臺展示給管理員；

其中所述掃描結果和采集結果為所述網(wǎng)頁腳本讀取服務器端針對所述網(wǎng)頁下發(fā)的配置文件后，所述配置文件包括要掃描的網(wǎng)頁元素以及要采集的操作行為數(shù)據(jù)的類型，依據(jù)配置文件掃描所述網(wǎng)頁元素并采集所述網(wǎng)頁元素的所述類型的操作行為數(shù)據(jù)后得到的。

根據(jù)本申請一優(yōu)選實施方式，所述配置文件還包括：要檢測的瀏覽器運行環(huán)境數(shù)據(jù)的類型；

該方法還包括：

所述服務器端接收所述網(wǎng)頁腳本依據(jù)所述配置文件檢測瀏覽器運行環(huán)境數(shù)據(jù)后上傳的檢測結果。