[發(fā)明專利]網(wǎng)站安全檢測(cè)方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810851917.0
• 申請(qǐng)日: 2018-07-27
• 公開（公告）號(hào): CN109033838A
• 公開（公告）日: 2018-12-18
• 發(fā)明（設(shè)計(jì)）人: 張馳
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F21/56
• 分類號(hào): G06F21/56;G06F21/57;G06F17/30
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本發(fā)明提供網(wǎng)站安全檢測(cè)方法和裝置，其中，方法包括：通過網(wǎng)絡(luò)爬蟲觸發(fā)對(duì)網(wǎng)站系統(tǒng)的可擴(kuò)展超文本傳輸請(qǐng)求，所述網(wǎng)絡(luò)爬蟲通過模擬目標(biāo)方式獲取所述網(wǎng)站系統(tǒng)的數(shù)據(jù)，所述目標(biāo)方式為瀏覽器通過超文本傳輸協(xié)議HTTP請(qǐng)求獲取所述網(wǎng)站系統(tǒng)的數(shù)據(jù)的方式；截取所述可擴(kuò)展超文本傳輸請(qǐng)求以及所述可擴(kuò)展超文本傳輸請(qǐng)求對(duì)應(yīng)的返回?cái)?shù)據(jù)，以獲取所述可擴(kuò)展超文本傳輸請(qǐng)求對(duì)應(yīng)的交互流量數(shù)據(jù)，所述交互流量數(shù)據(jù)包括所述可擴(kuò)展超文本傳輸請(qǐng)求和所述返回?cái)?shù)據(jù)；根據(jù)所述交互流量數(shù)據(jù)對(duì)所述網(wǎng)站系統(tǒng)進(jìn)行安全檢測(cè)。本發(fā)明的技術(shù)方案，可以獲取到異步加載和傳輸?shù)牧髁繑?shù)據(jù)，從而實(shí)現(xiàn)對(duì)網(wǎng)站的全面檢測(cè)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及網(wǎng)站安全檢測(cè)方法和裝置。

背景技術(shù)

爬蟲技術(shù)是指從一個(gè)或若干個(gè)初始網(wǎng)頁的統(tǒng)一定位資源符(uniform resourcelocation，URL)開始，根據(jù)一定的網(wǎng)頁分析算法過濾與爬取目的無關(guān)的資源，保留有用的資源，然后從保留的資源中獲取有用的鏈接，將其放入等待抓取的URL隊(duì)列，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列，并根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁URL，并重復(fù)抓取的過程，直到達(dá)到設(shè)置的停止條件則停止爬取。爬蟲技術(shù)可以幫助用戶自動(dòng)地獲取網(wǎng)頁中的資源(如圖片、文字、URL等)。

在目前的爬蟲技術(shù)中，主要是通過傳參方法或模擬瀏覽器的方法爬取網(wǎng)頁中的資源，對(duì)于采用異步傳輸和加載(如ajax技術(shù))的動(dòng)態(tài)網(wǎng)頁來說，由于網(wǎng)頁中的某些內(nèi)容在不停地刷新，通過傳參的方式無法獲取到這些動(dòng)態(tài)的內(nèi)容，由于有些信息最后并不會(huì)呈現(xiàn)在網(wǎng)頁上，通過模擬瀏覽器的方法無法獲取到這些最終未顯示在網(wǎng)頁上的內(nèi)容，通過上述這兩種方法抓取的資源不夠全面；而在目前對(duì)網(wǎng)站的安全檢測(cè)中，需要對(duì)網(wǎng)站中所有的URL都進(jìn)行檢測(cè)，而由于目前的爬蟲技術(shù)無法獲取到一些URL，則無法對(duì)網(wǎng)站進(jìn)行全面的檢測(cè)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供網(wǎng)站安全檢測(cè)方法和裝置，解決因?yàn)闊o法獲取到異步加載的URL而無法對(duì)網(wǎng)站進(jìn)行全面的檢測(cè)的問題。

第一方面，提供一種網(wǎng)站安全檢測(cè)方法，包括：

通過網(wǎng)絡(luò)爬蟲觸發(fā)對(duì)網(wǎng)站系統(tǒng)的可擴(kuò)展超文本傳輸請(qǐng)求(extensible markuplanguage hyper text transfer protocol request，XMLHttpRequest)，所述網(wǎng)絡(luò)爬蟲通過模擬目標(biāo)方式獲取所述網(wǎng)站系統(tǒng)的數(shù)據(jù)，所述目標(biāo)方式為瀏覽器通過超文本傳輸協(xié)議(hyper text transfer protocol，HTTP)請(qǐng)求獲取所述網(wǎng)站系統(tǒng)的數(shù)據(jù)的方式；

截取所述可擴(kuò)展超文本傳輸請(qǐng)求以及所述可擴(kuò)展超文本傳輸請(qǐng)求對(duì)應(yīng)的返回?cái)?shù)據(jù)，以獲取所述可擴(kuò)展超文本傳輸請(qǐng)求對(duì)應(yīng)的交互流量數(shù)據(jù)，所述交互流量數(shù)據(jù)包括所述可擴(kuò)展超文本傳輸請(qǐng)求和所述返回?cái)?shù)據(jù)；

根據(jù)所述交互流量數(shù)據(jù)對(duì)所述網(wǎng)站系統(tǒng)進(jìn)行安全檢測(cè)。

本發(fā)明實(shí)施例中，網(wǎng)絡(luò)爬蟲以模擬瀏覽器的方式獲取網(wǎng)站系統(tǒng)的數(shù)據(jù)，通過網(wǎng)絡(luò)爬蟲觸發(fā)對(duì)網(wǎng)站系統(tǒng)的XMLHttpRequest并且截取XMLHttpRequest對(duì)應(yīng)的返回?cái)?shù)據(jù)可以獲取到網(wǎng)站系統(tǒng)的所有網(wǎng)頁數(shù)據(jù)，網(wǎng)絡(luò)爬蟲的XMLHttpRequest對(duì)象提供了對(duì)超文本傳輸協(xié)議的完全訪問，包括向服務(wù)器發(fā)出post請(qǐng)求、head請(qǐng)求以及get請(qǐng)求的能力，因此，截取XMLHttpRequest可以獲取到異步加載和傳輸?shù)恼?qǐng)求，這些請(qǐng)求中攜帶的數(shù)據(jù)為未呈現(xiàn)在網(wǎng)頁上的數(shù)據(jù)，根據(jù)網(wǎng)頁數(shù)據(jù)和未顯示在網(wǎng)頁上的數(shù)據(jù)對(duì)網(wǎng)站進(jìn)行安全檢測(cè)可以實(shí)現(xiàn)對(duì)網(wǎng)站的全面檢測(cè)。

結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述交互流量數(shù)據(jù)對(duì)所述網(wǎng)站系統(tǒng)進(jìn)行安全檢測(cè)包括：從所述交互流量數(shù)據(jù)中獲取URL；