[發明專利]一種網站監測的方法及裝置

在審

• 申請號: 202010731482.3
• 申請日: 2020-07-27
• 公開（公告）號: CN111898013A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 張龍;王萌;黑巖;劉鑫;王向前
• 申請（專利權）人: 綠盟科技集團股份有限公司;北京神州綠盟科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;H04L29/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 劉亞威

本發明公開了一種網站監測的方法及裝置，包括：獲取待監測網站的網頁，然后根據網絡爬蟲的爬取深度和/或搜索引擎收錄的網頁更新時間確定出各網頁的關鍵指數，再根據各網頁的關鍵指數確定出各網頁的關鍵度，并進行排序；再將排序后的各網頁放入預設層數的待監測網頁金字塔，再根據預設的基準監測周期，確定出待監測網頁金字塔中各層的監測周期以及各層的監測周期對應的監測網頁數量，并通過滑動監測網頁的方式對所述待監測網頁金字塔中各層的網頁進行監測，實現針對不同關鍵度的網頁進行不同監測周期的監測，自適應的調節監測網頁的周期及數量，并降低了監測網頁的資源消耗和成本。

技術領域

本發明涉及網絡安全領域，尤其涉及一種網站監測的方法及裝置。

背景技術

網站監測提供了網站漏洞、網站掛馬實時監控、網站篡改實時監控等服務。對于給定的網絡站點，通過網絡爬蟲等方法抓取網絡站點的網頁，然后根據抓取的網頁確定出待監測的目標網頁，再按照預設的頻率對目標網頁進行監測。

現有技術中，網頁掛馬監測和網頁信息篡改監測的實時性要求較高，以網頁信息篡改監測為例，用戶希望監測的網頁數量多，頻率高，以第一時間發現某網頁的異常篡改數據。而監測服務提供商會希望降低監測的網頁數量及頻率，以此降低資源消耗和成本。目前的方法是通過參數配置的方式確定監測網頁的數量及頻率，但該方法存在一定的隨意性，無法自適應的調節監測網頁的數量及頻率。

發明內容

本發明實施例提供一種網站監測的方法及裝置，用于實現自適應的調節監測網頁的數量及頻率，提升監測范圍。

第一方面，本發明實施例提供一種網站監測的方法，包括：

獲取待監測網站的網頁；所述網頁是通過網絡爬蟲爬取和/或搜索引擎收錄得到的；

根據網絡爬蟲的爬取深度和/或搜索引擎收錄的網頁更新時間確定出各網頁的關鍵指數；

根據所述各網頁的關鍵指數確定出所述各網頁的關鍵度，并進行排序；將排序后的各網頁放入預設層數的待監測網頁金字塔；所述待監測網頁金字塔中每一層放入網頁的數量是由預設指數函數確定的；

根據預設的基準監測周期，確定出所述待監測網頁金字塔中各層的監測周期以及各層的監測周期對應的監測網頁數量；

根據所述待監測網頁金字塔中各層的監測周期以及各層的監測周期對應的監測網頁數量，通過滑動監測網頁的方式對所述待監測網頁金字塔中各層的網頁進行監測。

上述技術方案中，根據各網頁的關鍵度對各網頁進行排序，并根據排序的結果依次將網頁存入到預設層數的待監測網頁金字塔中，然后根據預設的基準監測周期確定出每一層的監測周期，實現自適應的調節待監測網頁金字塔中各層的監測網頁的周期，根據確定出的待監測網頁金字塔的每一層的監測網頁數量，實現自適應的調節待監測網頁金字塔中各層的監測網頁的數量，降低了監測網頁的資源消耗和成本。且可以在既定的有限的資源消耗情況下，自適應的針對待監測網頁金字塔中各層網頁進行不同數量的網頁監測。

可選的，所述根據網絡爬蟲的爬取深度和/或搜索引擎收錄的網頁更新時間確定出各網頁的關鍵指數，包括：

根據網絡爬蟲的廣度優先方法的爬取深度，確定出所述各網頁中的父頁面與子頁面的關系；并根據所述各網頁中父頁面與子頁面的關系確定出所述各網頁的第一關鍵指數；所述父頁面的第一關鍵指數與第一預設值的和為所述子頁面的第一關鍵指數；和/或

根據所述各網頁在所述搜索引擎中收錄的網頁更新時間，得到所述各網頁的網頁更新時間距離當前時間的時間差，并根據所述時間差確定出所述各網頁的第二關鍵指數；

對所述各網頁的第一關鍵指數和所述各網頁的第二關鍵指數進行去重得到所述各網頁的關鍵指數；

其中，所述時間差與所述第二關鍵指數符合公式(1)；