[發(fā)明專利]多維度收集URL鏈接及參數(shù)的方法、系統(tǒng)及設備

在審

• 申請?zhí)枺?/td>: 201710835323.6
• 申請日: 2017-09-15
• 公開（公告）號: CN109510731A
• 公開（公告）日: 2019-03-22
• 發(fā)明（設計）人: 王濤;湯立為
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08;H04L29/06
• 代理公司: 北京志霖恒遠知識產(chǎn)權代理事務所(普通合伙) 11435
• 代理人: 梁風霞

多維度收集URL鏈接及參數(shù)的方法、系統(tǒng)及設備,所述方法包括步驟:S1、通過爬蟲方式獲取URL鏈接與參數(shù)；S2、通過網(wǎng)絡設備獲取URL鏈接與參數(shù)；S3、通過WAF獲取URL鏈接與參數(shù)；S4、通過Access log獲取URL鏈接與參數(shù)；S5、對步驟S1?S4獲取的URL鏈接與參數(shù)進行Hash去重，獲取總的URL鏈接與參數(shù)。所述系統(tǒng)包括爬蟲監(jiān)測模塊、網(wǎng)絡設備監(jiān)測模塊、WAF監(jiān)測模塊以及Access log監(jiān)測模塊，所述設備用于加載所述方法的程序。它能夠全面的獲取URL鏈接與參數(shù)。保證了系統(tǒng)進行安全檢測與評估的全面性。

技術領域

本發(fā)明涉及URL收集、漏洞檢測，尤其涉及多維度收集URL鏈接及參數(shù)的方法、系統(tǒng)及設備。

背景技術

當前進行WEB系統(tǒng)安全測試，首先需要獲取到該WEB系統(tǒng)中的URL鏈接和參數(shù)。當前獲取URL鏈接和參數(shù)，一般通過網(wǎng)絡爬蟲方式進行。由于爬蟲的局限性，往往不能很全面的獲取系統(tǒng)中的URL鏈接和參數(shù)，特別是針對AJAX請求，幾乎無法識別。無法獲取到全面的URL鏈接，也就無法全面的對該系統(tǒng)進行安全測試、安全評估。

發(fā)明內(nèi)容

為了解決上述技術問題，本發(fā)明提出一種基于B/S架構系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法、系統(tǒng)及設備，它能夠全面的獲取URL鏈接與參數(shù)。保證了系統(tǒng)進行安全檢測與評估的全面性。

為了實現(xiàn)上述目的，本發(fā)明的技術方案為：

基于B/S架構系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,包括步驟:

S1、通過爬蟲方式獲取URL鏈接與參數(shù)；

S2、通過網(wǎng)絡設備獲取URL鏈接與參數(shù)；

S3、通過WAF獲取URL鏈接與參數(shù)；

S4、通過Access log獲取URL鏈接與參數(shù)；

S5、對步驟S1-S4獲取的URL鏈接與參數(shù)進行Hash去重，獲取總的URL鏈接與參數(shù)。

步驟S1包括步驟：

S11，獲取頁面；

S12，分析所述頁面的GET或POST請求；

S13，重復步驟S11-S12，直至整個WEB系統(tǒng)中的鏈接與參數(shù)獲取完畢。

步驟S2包括步驟：

S21，通過交換機以及路由器上的鏡像端口分析鏡像流量；

S22，將訪問WEB服務器的請求通過拆解數(shù)據(jù)包進行分析；

S23，整理全部WEB服務器的請求URL地址和參數(shù)。

步驟S21包括步驟：

S211，對路由器的流量數(shù)據(jù)包進行解析，若傳輸層顯示為TCP，端口為80/8080/443，則解析數(shù)據(jù)包；否則不進行拆包。

步驟S22包括步驟：

S221，按照標準網(wǎng)絡數(shù)據(jù)包組成格式，通過解析各個協(xié)議層的包頭，分別依次拆除網(wǎng)絡層包頭、傳輸層包頭；

S222，確認傳輸層是否以HTTP協(xié)議方式進行數(shù)據(jù)發(fā)送、接收。

步驟S23包括步驟：

S231，依次從每個解析出的數(shù)據(jù)包中獲取WEB服務器URL地址；

S232，將新的URL地址庫與舊的URL地址庫進行比對，并將新的URL地址庫中存在且舊的URL地址庫中不存在的數(shù)據(jù)添加至URL數(shù)據(jù)庫。

步驟S3包括步驟：