[發(fā)明專(zhuān)利]一種網(wǎng)頁(yè)掃描處理方法、裝置及客戶(hù)端

在審

• 申請(qǐng)?zhí)枺?/td>: 201310741650.7
• 申請(qǐng)日: 2013-12-27
• 公開(kāi)（公告）號(hào): CN103701815A
• 公開(kāi)（公告）日: 2014-04-02
• 發(fā)明（設(shè)計(jì)）人: 李菲;張龍;楊天池
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京神州綠盟信息安全科技股份有限公司;北京神州綠盟科技有限公司
• 主分類(lèi)號(hào): H04L29/06
• 分類(lèi)號(hào): H04L29/06;G06F21/55
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 黃志華

1.一種網(wǎng)頁(yè)掃描處理方法，其特征在于，包括：

客戶(hù)端控制待掃描統(tǒng)一資源定位符URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值；以及

針對(duì)所述待掃描URL隊(duì)列中的每個(gè)待掃描URL執(zhí)行：

根據(jù)已存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，為所述當(dāng)前待掃描URL分配掃描規(guī)則；

向所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站發(fā)送訪(fǎng)問(wèn)請(qǐng)求，接收到所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪(fǎng)問(wèn)響應(yīng)后，使用為所述當(dāng)前待掃描URL分配的掃描規(guī)則掃描所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪(fǎng)問(wèn)響應(yīng)；

得到針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果后，從所述待掃描URL隊(duì)列中刪除所述當(dāng)前待掃描URL。

2.如權(quán)利要求1所述的方法，其特征在于，控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，具體包括：

監(jiān)控所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量；

若所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量小于所述最大并發(fā)數(shù)值，則從待掃描URL庫(kù)中獲取URL加入所述待掃描URL隊(duì)列中，直到所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量為所述最大并發(fā)數(shù)值。

3.如權(quán)利要求1所述的方法，其特征在于，還包括：

監(jiān)控所述待掃描URL隊(duì)列中的每個(gè)待掃描URL位于所述待掃描URL隊(duì)列中的時(shí)長(zhǎng)是否超過(guò)掃描周期；

刪除位于所述待掃描URL隊(duì)列中的時(shí)長(zhǎng)超過(guò)所述掃描周期的待掃描URL。

4.如權(quán)利要求1所述的方法，其特征在于，還包括：

若得到的針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，存儲(chǔ)所述當(dāng)前待掃描URL的掃描結(jié)果中未存儲(chǔ)的包括所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息。

5.如權(quán)利要求1所述的方法，其特征在于，還包括：

若針對(duì)一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪(fǎng)問(wèn)響應(yīng)的掃描出現(xiàn)異常，結(jié)束針對(duì)所述一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪(fǎng)問(wèn)響應(yīng)的掃描，并從所述待掃描URL隊(duì)列中刪除所述一個(gè)待掃描URL。

6.如權(quán)利要求1所述的方法，其特征在于，還包括：

動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)。

7.如權(quán)利要求6所述的方法，其特征在于，動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)值，具體包括：

根據(jù)存儲(chǔ)的至少兩組所述客戶(hù)端的性能變量值與對(duì)應(yīng)的并發(fā)數(shù)值，確定權(quán)重因子；

根據(jù)在當(dāng)前時(shí)刻所述客戶(hù)端的性能變量值和確定出的權(quán)重因子，確定出所述當(dāng)前時(shí)刻的待定最大并發(fā)數(shù)值；

若所述待定最大并發(fā)數(shù)值與存儲(chǔ)的并發(fā)數(shù)值的差值小于或等于設(shè)定閾值，將所述最大并發(fā)數(shù)值調(diào)整為所述待定最大并發(fā)數(shù)值，并存儲(chǔ)所述當(dāng)前時(shí)刻所述客戶(hù)端的性能變量值和所述待定最大并發(fā)數(shù)值。

8.一種網(wǎng)頁(yè)掃描處理裝置，其特征在于，包括：

控制單元，用于控制待掃描統(tǒng)一資源定位符URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值；

分配單元，用于針對(duì)所述待掃描URL隊(duì)列中的每個(gè)待掃描URL執(zhí)行：根據(jù)已存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，為所述當(dāng)前待掃描URL分配掃描規(guī)則；

掃描單元，用于向所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站發(fā)送訪(fǎng)問(wèn)請(qǐng)求，接收到所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪(fǎng)問(wèn)響應(yīng)后，使用為所述當(dāng)前待掃描URL分配的掃描規(guī)則掃描所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪(fǎng)問(wèn)響應(yīng)；得到針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果后，通知所述控制單元從所述待掃描URL隊(duì)列中刪除所述當(dāng)前待掃描URL。

9.如權(quán)利要求8所述的裝置，其特征在于，所述控制單元，具體用于：

監(jiān)控所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量；

若所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量小于所述最大并發(fā)數(shù)值，則從待掃描URL庫(kù)中獲取URL加入所述待掃描URL隊(duì)列中，直到所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量為所述最大并發(fā)數(shù)值。

10.如權(quán)利要求8所述的裝置，其特征在于，所述控制單元，還用于：

監(jiān)控所述待掃描URL隊(duì)列中的每個(gè)待掃描URL位于所述待掃描URL隊(duì)列中的時(shí)長(zhǎng)是否超過(guò)掃描周期；

刪除位于所述待掃描URL隊(duì)列中的時(shí)長(zhǎng)超過(guò)所述掃描周期的待掃描URL。