[發(fā)明專利]一種實現(xiàn)安全掃描的方法及分布式系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210518679.4
• 申請日: 2012-12-06
• 公開（公告）號: CN103856467B
• 公開（公告）日: 2018-12-14
• 發(fā)明（設(shè)計）人: 李鳴雷;王丹;練坤梅
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 倪志華

本發(fā)明提供了一種實現(xiàn)安全掃描的方法及分布式系統(tǒng)，該方法包括：開始任務(wù)接口將生成的任務(wù)消息上傳到待爬取消息隊列；爬蟲進(jìn)程依據(jù)在所述待爬取消息隊列中監(jiān)聽到的任務(wù)消息中的待掃描任務(wù)入口URL，得到所述待掃描任務(wù)入口URL下的子鏈接，并發(fā)送掃描消息給待掃描消息隊列；掃描監(jiān)聽進(jìn)程在待掃描消息隊列監(jiān)聽到所述掃描消息時，將所述子鏈接存儲到數(shù)據(jù)庫；web server收到掃描進(jìn)程發(fā)送的http請求后，依據(jù)數(shù)據(jù)庫存儲的子鏈接生成掃描任務(wù)，將生成的掃描任務(wù)返回給掃描進(jìn)程；掃描進(jìn)程對收到的子鏈接進(jìn)行漏洞掃描，出現(xiàn)漏洞時生成漏洞數(shù)據(jù)，并依據(jù)漏洞數(shù)據(jù)生成掃描結(jié)果。根據(jù)本發(fā)明提供的技術(shù)方案，能夠大大提高web安全測試的效率。

【技術(shù)領(lǐng)域】

本發(fā)明涉及互聯(lián)網(wǎng)的安全測試技術(shù)，尤其涉及一種實現(xiàn)安全掃描方法及分布式系統(tǒng)。

【背景技術(shù)】

目前，對網(wǎng)站進(jìn)行web安全測試的方法主要有以下三種方式：

第一種是由專門的安全測試人員對網(wǎng)站進(jìn)行人工web安全測試。這種方式的缺點(diǎn)是：依賴于人工操作，測試周期較長，需要占用較多人力資源和時間資源，測試效率較低。

第二種是利用一些安全掃描工具對網(wǎng)站進(jìn)行安全掃描，這種方式的缺點(diǎn)是：安全掃描工具都是客戶端或服務(wù)器模式，仍然需要依賴人工進(jìn)行安裝和部署客戶端或服務(wù)器，需要占用較多人力資源和時間資源，測試效率較低。

第三種是安全測試人員通過web頁面提交掃描任務(wù)后，利用抓取URL模塊得到需要的子鏈接，然后進(jìn)入漏洞掃描，最后生成掃描報告。這種方式的缺點(diǎn)是：抓取工具和掃描工具在同一設(shè)備下串行工作，這樣爬蟲工具和掃描工具勢必會出現(xiàn)相互等待和相互制約的情況，而且整個設(shè)備的穩(wěn)定性、容錯性和方便擴(kuò)展性都將受到較大制約，測試效率較低。

【發(fā)明內(nèi)容】

本發(fā)明提供了一種實現(xiàn)安全掃描的方法及分布式系統(tǒng)，能夠大大提高web安全測試的效率。

本發(fā)明的具體技術(shù)方案如下：

根據(jù)本發(fā)明一優(yōu)選實施例，一種實現(xiàn)安全掃描的分布式系統(tǒng)，包括：開始任務(wù)接口、包括待爬取消息隊列和待掃描消息隊列的消息服務(wù)器、包括一個以上爬蟲進(jìn)程的爬蟲集群、包含掃描監(jiān)聽進(jìn)程和數(shù)據(jù)庫的監(jiān)聽服務(wù)器、web服務(wù)器（server）和包括一個以上掃描進(jìn)程的掃描集群；其中，

開始任務(wù)接口，用于將生成的任務(wù)消息上傳到待爬取消息隊列；

爬蟲進(jìn)程，用于依據(jù)在所述待爬取消息隊列中監(jiān)聽到的任務(wù)消息中的待掃描任務(wù)入口URL，得到所述待掃描任務(wù)入口URL下的子鏈接，并發(fā)送掃描消息給待掃描消息隊列；

掃描監(jiān)聽進(jìn)程，用于在待掃描消息隊列監(jiān)聽到所述掃描消息時，將所述子鏈接存儲到數(shù)據(jù)庫；

web server，用于收到掃描進(jìn)程發(fā)送的http請求后，依據(jù)數(shù)據(jù)庫存儲的子鏈接生成掃描任務(wù)，將生成的掃描任務(wù)返回給掃描進(jìn)程；

掃描進(jìn)程，用于對收到的子鏈接進(jìn)行漏洞掃描，出現(xiàn)漏洞時生成漏洞數(shù)據(jù)，并依據(jù)漏洞數(shù)據(jù)生成掃描結(jié)果。

上述系統(tǒng)中，所述爬蟲進(jìn)程在得到所述待掃描任務(wù)入口URL下的子鏈接時，具體包括：

對待爬取消息隊列進(jìn)行監(jiān)聽，第一個監(jiān)聽到任務(wù)消息的爬蟲進(jìn)程獲取所述任務(wù)消息，并在所述待爬取消息隊列中將所述任務(wù)消息的標(biāo)志位設(shè)置為正在處理；

對所述任務(wù)消息中的待掃描任務(wù)入口URL進(jìn)行爬取，得到所述待掃描任務(wù)入口URL下的所有子鏈接。

上述系統(tǒng)中，所述待爬取消息隊列，還用于當(dāng)爬蟲進(jìn)程對待掃描任務(wù)入口URL進(jìn)行爬取的過程中，所述爬蟲進(jìn)程所在的機(jī)器出現(xiàn)故障時，將所述爬蟲進(jìn)程正在爬取的任務(wù)消息的標(biāo)志位設(shè)置為等待處理。