[發(fā)明專利]一種實現安全掃描的方法及分布式系統

有效

• 申請?zhí)枺?/td>: 201210518679.4
• 申請日: 2012-12-06
• 公開（公告）號: CN103856467B
• 公開（公告）日: 2018-12-14
• 發(fā)明（設計）人: 李鳴雷;王丹;練坤梅
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京鴻德海業(yè)知識產權代理事務所(普通合伙) 11412
• 代理人: 倪志華

1.一種實現安全掃描的分布式系統，其特征在于，該系統包括：開始任務接口、包括待爬取消息隊列和待掃描消息隊列的消息服務器、爬蟲集群、包含掃描監(jiān)聽進程和數據庫的監(jiān)聽服務器、web服務器和掃描集群；其中，

開始任務接口，用于將生成的任務消息上傳到待爬取消息隊列；

爬蟲集群，包括一個以上機器，每個機器包括一個以上爬蟲進程；

掃描集群，包括一個以上機器，每個機器包括一個以上掃描進程；

爬蟲進程，用于依據在所述待爬取消息隊列中監(jiān)聽到的任務消息中的待掃描任務入口URL，得到所述待掃描任務入口URL下的子鏈接，并發(fā)送掃描消息給待掃描消息隊列；

掃描監(jiān)聽進程，用于在待掃描消息隊列監(jiān)聽到所述掃描消息時，將所述子鏈接存儲到數據庫；

web服務器，用于收到掃描進程發(fā)送的http請求后，依據數據庫存儲的子鏈接生成掃描任務，將生成的掃描任務返回給掃描進程；

掃描進程，用于對收到的子鏈接進行漏洞掃描，出現漏洞時生成漏洞數據，并依據漏洞數據生成掃描結果。

2.根據權利要求1所述的系統，其特征在于，所述爬蟲進程在得到所述待掃描任務入口URL下的子鏈接時，具體包括：

對待爬取消息隊列進行監(jiān)聽，第一個監(jiān)聽到任務消息的爬蟲進程獲取所述任務消息，并在所述待爬取消息隊列中將所述任務消息的標志位設置為正在處理；

對所述任務消息中的待掃描任務入口URL進行爬取，得到所述待掃描任務入口URL下的所有子鏈接。

3.根據權利要求2所述的系統，其特征在于，

所述待爬取消息隊列，還用于當爬蟲進程對待掃描任務入口URL進行爬取的過程中，所述爬蟲進程所在的機器出現故障時，將所述爬蟲進程正在爬取的任務消息的標志位設置為等待處理。

4.根據權利要求1所述的系統，其特征在于，所述爬蟲進程，還用于依據得到的待掃描任務入口URL的子鏈接生成爬蟲結果，將保存爬蟲結果的爬蟲結果文件保存到緩存服務器。

5.根據權利要求1所述的系統，其特征在于，所述web服務器在將生成的掃描任務發(fā)送給掃描進程時，具體包括：

依據數據庫中的子鏈接生成掃描任務，每個掃描任務中包含的子鏈接的數量等于預設的任務鏈接數；

依據每個掃描進程一次只發(fā)送一個掃描任務的策略，將生成的掃描任務返回給請求掃描任務的掃描進程；

將掃描任務中子鏈接在數據庫中的標志位設置為正在掃描。

6.根據權利要求1所述的系統，其特征在于，所述掃描進程在對收到的子鏈接進行漏洞掃描時，具體包括：

從掃描任務中第一個子鏈接的第一個參數開始，將規(guī)則庫中的參數值作為子鏈接中參數的參數值輸入到子鏈接中，如果輸入后報出漏洞則終止對所述參數的掃描，對所述子鏈接的其他參數進行掃描，對所述子鏈接的所有參數掃描完畢后，對掃描任務中的其他子鏈接進行掃描。

7.根據權利要求6所述的系統，其特征在于，所述web服務器，還用于在等待超時時間內沒有收到掃描進程發(fā)送的確認完成信息時，將子鏈接在數據庫中的標志位設置為等待分配。

8.根據權利要求1所述的系統，其特征在于，

該系統還包括：停止掃描接口；

所述消息服務器還包括停止爬取消息隊列和停止掃描消息隊列；

停止掃描接口，用于前端界面的停止任務按鈕被觸發(fā)后，判斷所述掃描任務處于爬取過程還是掃描過程；如果所述掃描任務處于爬取過程，將生成的停止爬取消息發(fā)送到消息服務器的停止爬取消息隊列；爬蟲進程用于從停止爬取消息隊列監(jiān)聽到停止爬取消息時，終止所述掃描任務的爬取操作；

如果掃描任務處于掃描過程，停止掃描接口用于將生成的停止掃描消息發(fā)送到停止掃描消息隊列，掃描監(jiān)聽進程用于從停止掃描消息隊列監(jiān)聽到停止掃描消息時，如果掃描任務的子鏈接還沒有被分配到掃描進程，則將所述子鏈接設置為停止掃描；如果所述子鏈接已經被分配到掃描進程，則不停止所述子鏈接的掃描。