[發(fā)明專利]多維度收集URL鏈接及參數(shù)的方法、系統(tǒng)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201710835323.6
• 申請(qǐng)日: 2017-09-15
• 公開（公告）號(hào): CN109510731A
• 公開（公告）日: 2019-03-22
• 發(fā)明（設(shè)計(jì)）人: 王濤;湯立為
• 申請(qǐng)（專利權(quán)）人: 順豐科技有限公司
• 主分類號(hào): H04L12/26
• 分類號(hào): H04L12/26;H04L29/08;H04L29/06
• 代理公司: 北京志霖恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 梁風(fēng)霞

1.基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，包括步驟:

S1、通過爬蟲方式獲取URL鏈接與參數(shù)；

S2、通過網(wǎng)絡(luò)設(shè)備獲取URL鏈接與參數(shù)；

S3、通過WAF獲取URL鏈接與參數(shù)；

S4、通過Access log獲取URL鏈接與參數(shù)；

S5、對(duì)步驟S1-S4獲取的URL鏈接與參數(shù)進(jìn)行Hash去重，獲取總的URL鏈接與參數(shù)。

2.根據(jù)權(quán)利要求1所述的基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，步驟S1包括步驟：

S11，獲取頁面；

S12，分析所述頁面的GET或POST請(qǐng)求；

S13，重復(fù)步驟S11-S12，直至整個(gè)WEB系統(tǒng)中的鏈接與參數(shù)獲取完畢。

3.根據(jù)權(quán)利要求1所述的基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，步驟S2包括步驟：

S21，通過交換機(jī)以及路由器上的鏡像端口分析鏡像流量；

S22，將訪問WEB服務(wù)器的請(qǐng)求通過拆解數(shù)據(jù)包進(jìn)行分析；

S23，整理全部WEB服務(wù)器的請(qǐng)求URL地址和參數(shù)。

4.根據(jù)權(quán)利要求3所述的基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，步驟S21包括步驟：

S211，對(duì)路由器的流量數(shù)據(jù)包進(jìn)行解析，若傳輸層顯示為TCP，端口為80/8080/443，則解析數(shù)據(jù)包；否則不進(jìn)行拆包。

5.根據(jù)權(quán)利要求3所述的基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，步驟S22包括步驟：

S221，按照標(biāo)準(zhǔn)網(wǎng)絡(luò)數(shù)據(jù)包組成格式，通過解析各個(gè)協(xié)議層的包頭，分別依次拆除網(wǎng)絡(luò)層包頭、傳輸層包頭；

S222，確認(rèn)傳輸層是否以HTTP協(xié)議方式進(jìn)行數(shù)據(jù)發(fā)送、接收。

6.根據(jù)權(quán)利要求3所述的基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，步驟S23包括步驟：

S231，依次從每個(gè)解析出的數(shù)據(jù)包中獲取WEB服務(wù)器URL地址；

S232，將新的URL地址庫與舊的URL地址庫進(jìn)行比對(duì)，并將新的URL地址庫中存在且舊的URL地址庫中不存在的數(shù)據(jù)添加至URL數(shù)據(jù)庫。

7.根據(jù)權(quán)利要求1所述的基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，步驟S3包括步驟：

S31，分析所述WAF通過的流量，識(shí)別WEB請(qǐng)求，并記錄通過指定站點(diǎn)的WEB請(qǐng)求；

S32，將獲取的URL地址分類、記錄并存儲(chǔ)。

8.根據(jù)權(quán)利要求1所述的基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，步驟S4包括步驟：

S41，將WEB容器中用戶發(fā)送的請(qǐng)求信息記錄到Access log中。

9.根據(jù)權(quán)利要求8所述的基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的方法,其特征在于，步驟S41中所述的請(qǐng)求信息包括：用戶的請(qǐng)求方式GET/POST，URL地址與參數(shù)。

10.基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的系統(tǒng)，其特征在于，包括：

爬蟲監(jiān)測(cè)模塊，用于通過爬蟲方式獲取URL鏈接與參數(shù)；

網(wǎng)絡(luò)設(shè)備監(jiān)測(cè)模塊，用于通過網(wǎng)絡(luò)設(shè)備獲取URL鏈接與參數(shù)；

WAF監(jiān)測(cè)模塊，用于通過WAF獲取URL鏈接與參數(shù)；

Access log監(jiān)測(cè)模塊，用于通過Access log獲取URL鏈接與參數(shù)；去重模塊，用于對(duì)所述爬蟲監(jiān)測(cè)模塊、網(wǎng)絡(luò)設(shè)備監(jiān)測(cè)模塊、WAF監(jiān)測(cè)模塊以及Access log監(jiān)測(cè)模塊獲取的URL鏈接與參數(shù)進(jìn)行Hash去重，獲取總的URL鏈接與參數(shù)。

11.基于B/S架構(gòu)系統(tǒng)的多維度收集URL鏈接及參數(shù)的設(shè)備，其特征在于，包括存儲(chǔ)有計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì),所述程序被運(yùn)行用于執(zhí)行：

S1、通過爬蟲方式獲取URL鏈接與參數(shù)；

S2、通過網(wǎng)絡(luò)設(shè)備獲取URL鏈接與參數(shù)；

S3、通過WAF獲取URL鏈接與參數(shù)；

S4、通過Access log獲取URL鏈接與參數(shù)；

S5、對(duì)步驟S1-S4獲取的URL鏈接與參數(shù)進(jìn)行Hash去重，獲取總的URL鏈接與參數(shù)。