[發(fā)明專利]用于檢測惡意網(wǎng)址的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201510219801.1
• 申請日: 2015-04-30
• 公開（公告）號: CN104766014B
• 公開（公告）日: 2017-12-01
• 發(fā)明（設計）人: 唐呈光;楊念;耿志峰
• 申請（專利權(quán)）人: 安一恒通（北京）科技有限公司
• 主分類號: G06F21/56
• 分類號: G06F21/56;H04L29/08
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

技術(shù)領(lǐng)域

本公開一般涉及計算機技術(shù)領(lǐng)域，具體涉及網(wǎng)絡信息安全領(lǐng)域，尤其涉及一種用于檢測惡意網(wǎng)址的方法和系統(tǒng)。

背景技術(shù)

在互聯(lián)網(wǎng)上瀏覽網(wǎng)頁時，一些惡意網(wǎng)站，例如釣魚網(wǎng)站、掛馬網(wǎng)站、欺詐網(wǎng)站等，使得網(wǎng)絡用戶的信息安全受到威脅。

目前，基于網(wǎng)頁文本內(nèi)容的惡意網(wǎng)頁檢測方法已經(jīng)比較完善。然而，黑色產(chǎn)業(yè)站長為了繞過安全廠商的檢測引擎，新出的惡意網(wǎng)址不再是包含大量的網(wǎng)頁文本內(nèi)容，而是通過加密算法和網(wǎng)頁圖片化技術(shù)對惡意網(wǎng)頁進行處理，同時增加有依賴的網(wǎng)頁跳轉(zhuǎn)。有依賴的網(wǎng)頁跳轉(zhuǎn)具體表現(xiàn)為一次完整的網(wǎng)頁請求中的下游網(wǎng)頁依賴上游網(wǎng)頁的相關(guān)信息，例如refer、cookie等，從而導致檢測引擎獲取到的網(wǎng)頁結(jié)果缺少文本內(nèi)容特征，檢測能力急劇下降。

現(xiàn)有技術(shù)中一般通過靜態(tài)爬蟲抓取網(wǎng)頁內(nèi)容。靜態(tài)爬蟲的原理類似于Wget。Wget是“World Wide Web(萬維網(wǎng))”與“get(獲取)”的結(jié)合，它是一個從網(wǎng)絡上自動下載文件的自由工具，支持通過HTTP(超文本傳輸協(xié)議)、HTTPS(超文本傳輸安全協(xié)議)以及FTP(文件傳輸協(xié)議)這三個最常見的TCP/IP(傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議)下載，并可以使用HTTP代理。

Wget將包括HTML(超文本標記語言)、css(級聯(lián)樣式表)、JavaScript、Flash文件等的網(wǎng)頁內(nèi)容下載下來，供檢測引擎分析。檢測引擎只能依賴網(wǎng)頁中某些固定成分進行惡意網(wǎng)頁打擊。然而，這些固定成分依靠人工總結(jié)，依賴先驗知識，費時費力，而且檢測效果不好。

部分有研發(fā)實力的安全廠商會嘗試動態(tài)爬蟲。通過對開源的瀏覽器內(nèi)核(諸如webkit或gecko之類的排版引擎)進行封裝，使得爬蟲能夠渲染網(wǎng)頁。然后輸出網(wǎng)頁渲染后的內(nèi)容以供檢測引擎分析。

然而，上述檢測方案無法應對新出現(xiàn)的惡意網(wǎng)址。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，期望提供一種能夠有效提高惡意網(wǎng)址檢測能力的方案。

第一方面，本申請實施例提供了一種檢測惡意網(wǎng)址的方法，包括：接收用戶上報的統(tǒng)一資源定位符URL；獲取與該URL關(guān)聯(lián)的超文本傳輸協(xié)議HTTP請求鏈，HTTP請求鏈是包含訪問URL的多次HTTP請求-響應交互信息的時序鏈表；以及分析該HTTP請求鏈以確定URL是否為惡意網(wǎng)址。

第二方面，本申請實施例還提供了一種檢測惡意網(wǎng)址的系統(tǒng)，包括爬蟲子系統(tǒng)和檢測子系統(tǒng)。爬蟲子系統(tǒng)包括爬蟲調(diào)度服務器以及一個或多個動態(tài)爬蟲服務器。爬蟲調(diào)度服務器配置用于接收用戶上報的統(tǒng)一資源定位符URL，以及調(diào)度動態(tài)爬蟲服務器。動態(tài)爬蟲服務器配置用于根據(jù)爬蟲調(diào)度服務器的調(diào)度獲取與URL關(guān)聯(lián)的超文本傳輸協(xié)議HTTP請求鏈，HTTP請求鏈是包含訪問所述URL的多次HTTP請求-響應交互信息的時序鏈表。檢測子系統(tǒng)包括分析單元，配置用于分析HTTP請求鏈以確定URL是否為惡意網(wǎng)址。

本申請實施例提供的檢測惡意網(wǎng)址的方案，通過獲取與URL關(guān)聯(lián)的HTTP請求鏈，能夠得到較為全面的URL關(guān)聯(lián)的網(wǎng)頁內(nèi)容，從而能夠?qū)阂饩W(wǎng)址進行準確檢測。按照本申請實施例的技術(shù)方案，對惡意網(wǎng)址的檢測結(jié)果準確，能夠檢測各種新出現(xiàn)的惡意網(wǎng)址，而且用戶友好，用戶只需要上傳URL，無需提供更多信息。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優(yōu)點將會變得更明顯：

圖1示出了其中可以應用本申請實施例的示例性系統(tǒng)架構(gòu)；

圖2示出了根據(jù)本申請實施例的用于檢測惡意網(wǎng)址的方法的示例性流程圖；

圖3示出了HTTP請求鏈的一個示例性屏幕截圖；

圖4示出了HTTP請求鏈的一種示例性抽象表示方式；

圖5示出了根據(jù)本申請一個實施例的用于獲取HTTP請求鏈的方法的示例性流程圖；

圖6示出了根據(jù)本申請一個實施例的用于分析HTTP請求鏈的方法的示例性流程圖；

圖7示出了根據(jù)本申請另一實施例的用于檢測惡意網(wǎng)址的方法的示例性流程圖；

圖8示出了一個仿冒QQ登錄的惡意網(wǎng)址的頁面截圖；

圖9示出了官方網(wǎng)站的頁面截圖；

圖10示出了訪問官方網(wǎng)站時的HTTP請求鏈信息；

圖11、圖12和圖13分別示出了訪問上述仿冒QQ登錄的惡意網(wǎng)址的HTTP請求鏈信息中的一部分；

圖14示出了根據(jù)本申請一個實施例的用于檢測惡意網(wǎng)址的系統(tǒng)的示例性結(jié)構(gòu)框圖；以及