[發(fā)明專利]提高網(wǎng)站漏洞掃描速度的方法及裝置

有效

• 申請?zhí)枺?/td>: 201310598586.1
• 申請日: 2013-11-22
• 公開（公告）號: CN103685237B
• 公開（公告）日: 2018-12-18
• 發(fā)明（設(shè)計）人: 趙武;龍專
• 申請（專利權(quán)）人: 北京奇安信科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝

1.一種提高網(wǎng)站漏洞掃描速度的方法，包括：

獲取網(wǎng)站鏈接；

確定所述網(wǎng)站鏈接是否為無需爬蟲鏈接，包括：判斷鏈接歸一性規(guī)則庫中是否存在鏈接歸一性規(guī)則，若是，則判斷所述網(wǎng)站鏈接是否符合所述鏈接歸一性規(guī)則，如果符合，則確定所述網(wǎng)站鏈接為無需爬蟲鏈接；其中，所述鏈接歸一性規(guī)則是根據(jù)網(wǎng)站鏈接提取的用于判斷該網(wǎng)站鏈接是否為無需爬蟲鏈接的規(guī)則，包括：全數(shù)字或全字符規(guī)則、數(shù)字和字符混合規(guī)則、MD5字符串規(guī)則、以及特殊形式頁面規(guī)則；

若是，則對該網(wǎng)站鏈接不進行漏洞掃描，否則對該網(wǎng)站鏈接進行漏洞掃描；

如果判斷所述鏈接歸一性規(guī)則庫中不存在所述鏈接歸一性規(guī)則或所述網(wǎng)站鏈接不符合所述鏈接歸一性規(guī)則，則執(zhí)行如下步驟：

根據(jù)所述網(wǎng)站鏈接生成DOM樹；

提取所述DOM樹的一個子層；

計算所述DOM樹的所述子層的子節(jié)點數(shù)；

判斷所述子層的子節(jié)點數(shù)是否大于預設(shè)值；

若是，則確定所述網(wǎng)站鏈接為無需爬蟲鏈接，并根據(jù)所述網(wǎng)站鏈接而提取鏈接歸一性規(guī)則，將該鏈接歸一性規(guī)則添加到所述鏈接歸一性規(guī)則庫中。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述確定所述網(wǎng)站鏈接是否為無需爬蟲鏈接的步驟進一步包括：

判斷所述網(wǎng)站鏈接是否符合重寫規(guī)則，若是，則確定該網(wǎng)站鏈接為無需爬蟲鏈接。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述判斷所述網(wǎng)站鏈接是否為無需爬蟲鏈接的步驟進一步包括：

判斷所述網(wǎng)站鏈接是否為參數(shù)鏈接，若是，則判斷該參數(shù)鏈接是否為參數(shù)重復的鏈接，若是，則確定該網(wǎng)站鏈接為無需爬蟲鏈接。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述網(wǎng)站鏈接提取鏈接歸一性規(guī)則是通過對網(wǎng)站鏈接截取目錄符后的內(nèi)容，根據(jù)該內(nèi)容而提取鏈接歸一性規(guī)則。

5.一種提高網(wǎng)站漏洞掃描速度的裝置，包括：

獲取模塊，適于獲取網(wǎng)站鏈接；

判斷模塊，適于確定所述網(wǎng)站鏈接是否為無需爬蟲鏈接；

執(zhí)行模塊，適于在判斷模塊判斷所述網(wǎng)站鏈接為無需爬蟲鏈接時，對該網(wǎng)站鏈接不進行漏洞掃描，否則對所述網(wǎng)站鏈接進行漏洞掃描；

其中，所述判斷模塊包括：

鏈接歸一性規(guī)則判斷子模塊，適于判斷鏈接歸一性規(guī)則庫中是否存在鏈接歸一性規(guī)則，若是，則判斷所述網(wǎng)站鏈接是否符合所述鏈接歸一性規(guī)則，如果符合，則確定所述網(wǎng)站鏈接為無需爬蟲鏈接；

其中，所述鏈接歸一性規(guī)則是根據(jù)網(wǎng)站鏈接提取的用于判斷該網(wǎng)站鏈接是否為無需爬蟲鏈接的規(guī)則，包括：全數(shù)字或全字符規(guī)則、數(shù)字和字符混合規(guī)則、MD5字符串規(guī)則、以及特殊形式頁面規(guī)則；

所述鏈接歸一性規(guī)則判斷子模塊包括：鏈接歸一性規(guī)則提取單元；

所述鏈接歸一性規(guī)則提取單元通過如下方式提取所述鏈接歸一性規(guī)則：

根據(jù)所述網(wǎng)站鏈接生成DOM樹，

提取所述DOM樹的一個子層，

計算所述DOM樹的所述子層作為倒數(shù)第二個子層的子節(jié)點數(shù)；

判斷所述子層作為倒數(shù)第二個子層的子節(jié)點數(shù)是否大于預設(shè)值，若是，則確定該子層的鏈接為無需爬蟲鏈接，并根據(jù)所述網(wǎng)站鏈接而提取鏈接歸一性規(guī)則，將該鏈接歸一性規(guī)則添加到所述鏈接歸一性規(guī)則庫中。

6.根據(jù)權(quán)利要求5所述的裝置，其中，所述判斷模塊還包括：

重寫規(guī)則判斷子模塊，適于判斷所述網(wǎng)站鏈接是否符合重寫規(guī)則，若符合，則確定該網(wǎng)站鏈接為無需爬蟲鏈接。

7.根據(jù)權(quán)利要求5所述的裝置，其中，所述判斷模塊還包括：

參數(shù)鏈接判斷子模塊，判斷所述網(wǎng)站鏈接是否為參數(shù)鏈接，若是，則判斷該參數(shù)鏈接是否為參數(shù)重復的鏈接，若是，則確定該網(wǎng)站鏈接為無需爬蟲鏈接。

8.根據(jù)權(quán)利要求5所述的裝置，其中，

所述鏈接歸一性規(guī)則判斷子模塊還包括：

第一判斷單元，其適于判斷鏈接歸一性規(guī)則庫中是否存在鏈接歸一性規(guī)則；

鏈接歸一性規(guī)則判斷單元，其適于在所述第一判斷單元判斷存在所述鏈接歸一性規(guī)則時，判斷所述網(wǎng)站鏈接是否符合所述鏈接歸一性規(guī)則，如果符合，則判斷所述網(wǎng)站鏈接為無需爬蟲鏈接；

所述鏈接歸一性規(guī)則提取單元，其適于在所述第一判斷單元判斷鏈接歸一性規(guī)則庫中不存在鏈接歸一性規(guī)則時以及所述鏈接歸一性規(guī)則判斷單元判斷所述網(wǎng)站鏈接不符合所述鏈接歸一性規(guī)則時，根據(jù)所述網(wǎng)站鏈接提取鏈接歸一性規(guī)則。