[發(fā)明專利]一種網(wǎng)頁數(shù)據(jù)采集方法、裝置、設備和計算機存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010515028.4
• 申請日: 2020-06-08
• 公開（公告）號: CN111859235A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設計）人: 鄭霖;林育民
• 申請（專利權(quán)）人: 瑞數(shù)信息技術（上海）有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F8/71;H04L29/08
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理事務所(普通合伙) 11412
• 代理人: 袁媛

1.一種網(wǎng)頁數(shù)據(jù)采集方法，其特征在于，該方法包括：

嵌入網(wǎng)頁中的網(wǎng)頁腳本在運行后，讀取服務器端針對所述網(wǎng)頁下發(fā)的配置文件，所述配置文件包括要掃描的網(wǎng)頁元素以及要采集的操作行為數(shù)據(jù)的類型；

依據(jù)所述配置文件，掃描所述網(wǎng)頁元素并采集所述網(wǎng)頁元素的所述類型的操作行為數(shù)據(jù)，并將掃描結(jié)果和采集結(jié)果上傳至服務器端。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)頁腳本采用腳本Script標簽的形式嵌入網(wǎng)頁中。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述配置文件還包括：要檢測的瀏覽器運行環(huán)境數(shù)據(jù)的類型；

該方法還包括：

所述網(wǎng)頁腳本依據(jù)所述配置文件檢測瀏覽器運行環(huán)境數(shù)據(jù)，并將檢測結(jié)果上傳至服務器端。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述配置文件還包括：所述采集和上傳過程中所采用的算法。

5.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，該方法還包括：

所述網(wǎng)頁腳本重新讀取所述服務器端下發(fā)的配置文件，該配置文件為所述服務器端依據(jù)所述網(wǎng)頁腳本上傳的結(jié)果調(diào)整后的配置文件。

6.一種網(wǎng)頁數(shù)據(jù)采集方法，其特征在于，該方法包括：

服務器端接收嵌入網(wǎng)頁中的網(wǎng)頁腳本上傳的掃描結(jié)果和采集結(jié)果，并通過管理平臺展示給管理員；

其中所述掃描結(jié)果和采集結(jié)果為所述網(wǎng)頁腳本讀取服務器端針對所述網(wǎng)頁下發(fā)的配置文件后，所述配置文件包括要掃描的網(wǎng)頁元素以及要采集的操作行為數(shù)據(jù)的類型，依據(jù)配置文件掃描所述網(wǎng)頁元素并采集所述網(wǎng)頁元素的所述類型的操作行為數(shù)據(jù)后得到的。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述配置文件還包括：要檢測的瀏覽器運行環(huán)境數(shù)據(jù)的類型；

該方法還包括：

所述服務器端接收所述網(wǎng)頁腳本依據(jù)所述配置文件檢測瀏覽器運行環(huán)境數(shù)據(jù)后上傳的檢測結(jié)果。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述配置文件還包括：所述采集和上傳過程中所采用的算法。

9.根據(jù)權(quán)利要求6至8任一項所述的方法，其特征在于，該方法還包括：

所述服務器端依據(jù)所述網(wǎng)頁腳本上傳的結(jié)果，調(diào)整針對所述網(wǎng)頁下發(fā)的配置文件。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述服務器端依據(jù)所述網(wǎng)頁腳本上傳的結(jié)果，調(diào)整針對所述網(wǎng)頁下發(fā)的配置文件包括：

依據(jù)所述網(wǎng)頁腳本上傳的掃描結(jié)果，若掃描到預設的關鍵網(wǎng)頁元素，則在配置文件中針對關鍵網(wǎng)頁元素設置要采集的操作行為數(shù)據(jù)的類型；或者，

依據(jù)所述網(wǎng)頁腳本上傳的操作行為數(shù)據(jù)，針對訪問頻率或訪問量大于預設閾值的頁面和網(wǎng)頁元素，調(diào)整要采集的操作行為數(shù)據(jù)的類型；或者，

依據(jù)所述網(wǎng)頁腳本上傳的操作行為數(shù)據(jù)，對網(wǎng)頁上的操作行為時間序列進行分析，針對分析得到的異常操作行為的網(wǎng)頁，調(diào)整要掃描的網(wǎng)頁元素和/或要采集的操作行為數(shù)據(jù)的類型。

11.一種網(wǎng)頁數(shù)據(jù)采集裝置，其特征在于，設置于嵌入網(wǎng)頁中的網(wǎng)頁腳本，該裝置包括：

配置讀取模塊，用于所述網(wǎng)頁腳本在運行后，讀取服務器端針對所述網(wǎng)頁下發(fā)的配置文件，所述配置文件包括要掃描的網(wǎng)頁元素以及要采集的操作行為數(shù)據(jù)的類型；

數(shù)據(jù)處理模塊，用于依據(jù)所述配置文件，掃描所述網(wǎng)頁元素并采集所述網(wǎng)頁元素的所述類型的操作行為數(shù)據(jù)；

數(shù)據(jù)交互模塊，用于將所述數(shù)據(jù)處理模塊的掃描結(jié)果和采集結(jié)果上傳至服務器端。

12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述配置文件還包括：要檢測的瀏覽器運行環(huán)境數(shù)據(jù)的類型；

所述數(shù)據(jù)處理模塊，還用于依據(jù)所述配置文件檢測瀏覽器運行環(huán)境數(shù)據(jù)；

所述數(shù)據(jù)交互模塊，還用于將所述數(shù)據(jù)處理模塊的檢測結(jié)果上傳至服務器端。