[發明專利]一種數據采集方法、裝置、計算設備及存儲介質

在審

• 申請號: 201810123455.0
• 申請日: 2018-02-07
• 公開（公告）號: CN108334619A
• 公開（公告）日: 2018-07-27
• 發明（設計）人: 陳德育
• 申請（專利權）人: 政采云有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

本申請提供的一種數據采集方法、裝置、計算設備及存儲介質，其中，所述方法包括獲取待監控網頁的目標多維度數據；根據預設校驗規則對所述多維度數據進行校驗；將有效的多維度數據分類存儲至數據庫，所述有效的多維度數據為通過校驗的多維度數據，采用上述方法可以進行多維度數據的采集和分類存儲，方便后期維護人員可以根據分類存儲的數據針對網頁進行優化。

技術領域

本申請涉及數據處理技術領域，特別涉及一種數據采集方法、裝置、計算設備及存儲介質。

背景技術

目前，隨著移動互聯網的發展，可以通過智能手機、平板電腦以及多媒體播放器之類的終端設備進行網頁瀏覽，為了幫助用戶提高瀏覽效率，都會對網頁結構進行優化，一般優化方式可以利用網頁的日志文件為基礎數據，經過數據預處理后的基礎數據，利用模式分析來拆分用戶的行為特征，形成用戶的訪問模式，并根據模式修改網頁結構，如增加超級鏈接、調整熱點圖等實現網頁拓撲結構優化。

用戶瀏覽網頁時，網頁請求發出之后網頁從服務端到瀏覽器端的顯示時間以及渲染時間是需要多維度統計的，但是網頁從服務端到瀏覽器端的顯示時間以及渲染時間在不同客戶和不同瀏覽器中所用的時間有所不同，用戶的行為習慣也會影響到網頁產品展示設計和交互界面設計，因此如何實現不同客戶和不同瀏覽器之間瀏覽網頁時的各維度數據采集存儲，方便后期維護人員可以根據采集的數據對網頁進行優化是目前需要解決的問題。

發明內容

有鑒于此，本申請實施例提供了一種數據采集方法、裝置、計算設備及存儲介質，以解決現有技術中存在的技術缺陷。

本申請實施例公開了一種數據采集方法，包括：

獲取待監控網頁的目標多維度數據；

根據預設校驗規則對所述多維度數據進行校驗；

將有效的多維度數據分類存儲至數據庫，所述有效的多維度數據為通過校驗的多維度數據。

可選地，所述待監控網頁包括注入侵入式腳本的網頁，獲取待監控網頁的目標多維度數據包括：

通過所述侵入式腳本獲取所述網頁的目標多維度數據，所述目標多維度數據包括網頁性能數據、網頁報錯數據和交互數據；

其中，所述網頁性能數據包括首屏時間、內容加載完成時間、重定向時間和/或卸載網頁時間；

所述網頁報錯數據包括找不到文件、找不到文件目錄、無法解析此請求和/或禁止訪問；

所述交互數據包括每個按鈕點擊次數、用戶登錄時間和/或每個網頁查看時間。

可選地，將有效的多維度數據分類存儲至數據庫之后，還包括：

分析無效的多維度數據的無效原因，并將所述無效原因存儲至數據庫，所述無效的多維度數據包括未通過校驗的多維度數據。

可選地，獲取待監控網頁的目標多維度數據之后，還包括：

為所述多維度數據的每個維度數據添加對應的標識符。

可選地，將有效的多維度數據分類存儲至數據庫包括：

根據所述標識符將有效的多維度數據分類存儲至數據庫。

可選地，分析無效的多維度數據的無效原因，并將所述無效原因存儲至數據庫之后，還包括：

將存儲至數據庫的有效的多維度數據生成第一報表和/或將存儲至數據庫的無效原因生成第二報表。

可選地，將存儲至數據庫的有效的多維度數據生成第一報表和/或將存儲至數據庫的無效原因生成第二報表之后，還包括：

根據第一報表對所述待監控網頁進行優化和/或根據第二報表對所述侵入式腳本進行優化。