[發明專利]一種網頁掃描處理方法、裝置及客戶端

在審

• 申請號: 201310741650.7
• 申請日: 2013-12-27
• 公開（公告）號: CN103701815A
• 公開（公告）日: 2014-04-02
• 發明（設計）人: 李菲;張龍;楊天池
• 申請（專利權）人: 北京神州綠盟信息安全科技股份有限公司;北京神州綠盟科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06F21/55
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

技術領域

本發明涉及通信技術領域，尤指一種網頁（Web）掃描處理方法、裝置及客戶端。

背景技術

Web掃描能夠主動對web應用進行漏洞發掘和檢測，幫助客戶端提升防御能力，消除安全隱患。目前，Web掃描的處理方法為：爬蟲模塊將爬取到的統一資源定位符（universal?resource?locator，URL）傳給掃描模塊，掃描模塊逐一針對每個URL向服務器發送請求，然后使用現有的掃描規則對服務器返回的響應進行掃描并給出掃描結果。

在需要處理的URL的數量很多時，該方法效率非常低，并且一旦在掃描的過程中出現局部錯誤還有可能導致整個系統崩潰。因此，現有的網頁掃描處理方法效率很低，穩定性很差。

發明內容

本發明實施例提供一種網頁掃描處理方法、裝置及客戶端，用以解決現有的網頁掃描處理方法效率很低，穩定性很差的問題。

因此，根據本發明實施例提供一種網頁掃描處理方法，包括：

客戶端控制待掃描統一資源定位符URL隊列中的待掃描URL的數量為最大并發數值；以及

針對所述待掃描URL隊列中的每個待掃描URL執行：

根據已存儲的當前待掃描URL對應的網站的特征信息，為所述當前待掃描URL分配掃描規則；

向所述當前待掃描URL對應的網站發送訪問請求，接收到所述當前待掃描URL對應的網站返回的訪問響應后，使用為所述當前待掃描URL分配的掃描規則掃描所述當前待掃描URL對應的網站返回的訪問響應；

得到針對所述當前待掃描URL的掃描結果后，從所述待掃描URL隊列中刪除所述當前待掃描URL。

具體的，控制待掃描URL隊列中的待掃描URL的數量為最大并發數值，具體包括：

監控所述待掃描URL隊列中的待掃描URL的數量；

若所述待掃描URL隊列中的待掃描URL的數量小于所述最大并發數值，則從待掃描URL庫中獲取URL加入所述待掃描URL隊列中，直到所述待掃描URL隊列中的待掃描URL的數量為所述最大并發數值。

可選的，還包括：

監控所述待掃描URL隊列中的每個待掃描URL位于所述待掃描URL隊列中的時長是否超過掃描周期；

刪除位于所述待掃描URL隊列中的時長超過所述掃描周期的待掃描URL。

可選的，還包括：

若得到的針對所述當前待掃描URL的掃描結果中包括未存儲的所述當前待掃描URL對應的網站的特征信息，存儲所述當前待掃描URL的掃描結果中未存儲的包括所述當前待掃描URL對應的網站的特征信息。

可選的，還包括：

若針對一個待掃描URL對應的網站返回的訪問響應的掃描出現異常，結束針對所述一個待掃描URL對應的網站返回的訪問響應的掃描，并從所述待掃描URL隊列中刪除所述一個待掃描URL。

可選的，還包括：

動態調整所述最大并發數。

具體的，動態調整所述最大并發數值，具體包括：

根據存儲的至少兩組所述客戶端的性能變量值與對應的并發數值，確定權重因子；

根據在當前時刻所述客戶端的性能變量值和確定出的權重因子，確定出所述當前時刻的待定最大并發數值；

若所述待定最大并發數值與存儲的并發數值的差值小于或等于設定閾值，將所述最大并發數值調整為所述待定最大并發數值，并存儲所述當前時刻所述客戶端的性能變量值和所述待定最大并發數值。

還提供一種網頁掃描處理裝置，包括：

控制單元，用于控制待掃描統一資源定位符URL隊列中的待掃描URL的數量為最大并發數值；

分配單元，用于針對所述待掃描URL隊列中的每個待掃描URL執行：根據已存儲的當前待掃描URL對應的網站的特征信息，為所述當前待掃描URL分配掃描規則；

掃描單元，用于向所述當前待掃描URL對應的網站發送訪問請求，接收到所述當前待掃描URL對應的網站返回的訪問響應后，使用為所述當前待掃描URL分配的掃描規則掃描所述當前待掃描URL對應的網站返回的訪問響應；得到針對所述當前待掃描URL的掃描結果后，通知所述控制單元從所述待掃描URL隊列中刪除所述當前待掃描URL。

具體的，所述控制單元，具體用于：

監控所述待掃描URL隊列中的待掃描URL的數量；