[發(fā)明專利]用于檢測惡意網(wǎng)址的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201510219801.1
• 申請日: 2015-04-30
• 公開（公告）號: CN104766014B
• 公開（公告）日: 2017-12-01
• 發(fā)明（設(shè)計）人: 唐呈光;楊念;耿志峰
• 申請（專利權(quán)）人: 安一恒通（北京）科技有限公司
• 主分類號: G06F21/56
• 分類號: G06F21/56;H04L29/08
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

1.一種檢測惡意網(wǎng)址的方法，包括：

接收用戶上報的統(tǒng)一資源定位符URL；

獲取與所述URL關(guān)聯(lián)的超文本傳輸協(xié)議HTTP請求鏈，所述HTTP請求鏈是包含訪問所述URL的多次HTTP請求-響應(yīng)交互信息的時序鏈表；以及

從所述HTTP請求鏈提取特征以確定所述URL是否為惡意網(wǎng)址。

2.根據(jù)權(quán)利要求1所述的方法，其中，獲取HTTP請求鏈包括：

利用基于用戶地理位置的分布式動態(tài)爬蟲子系統(tǒng)來獲取HTTP請求鏈。

3.根據(jù)權(quán)利要求2所述的方法，其中，利用基于用戶地理位置的分布式動態(tài)爬蟲子系統(tǒng)來獲取HTTP請求鏈包括：

確定所述用戶所在的地理位置和網(wǎng)絡(luò)環(huán)境信息；

將所述URL調(diào)度至地理位置和網(wǎng)絡(luò)環(huán)境信息與所述用戶接近的動態(tài)爬蟲服務(wù)器；以及

在所述動態(tài)爬蟲服務(wù)器處下載與所述URL關(guān)聯(lián)的網(wǎng)頁內(nèi)容以獲得HTTP請求鏈。

4.根據(jù)權(quán)利要求3所述的方法，其中，確定所述用戶所在的地理位置和網(wǎng)絡(luò)環(huán)境信息包括：

基于所述用戶上報URL的互聯(lián)網(wǎng)協(xié)議IP地址確定所述用戶的地理位置以及所使用的網(wǎng)絡(luò)運營商信息；以及

基于所述網(wǎng)絡(luò)運營商信息確定所述用戶的網(wǎng)絡(luò)環(huán)境信息，其中所述網(wǎng)絡(luò)環(huán)境信息至少包括網(wǎng)絡(luò)帶寬。

5.根據(jù)權(quán)利要求3所述的方法，其中，下載與所述URL關(guān)聯(lián)的網(wǎng)頁內(nèi)容以獲得HTTP請求鏈包括：

抓取經(jīng)過跳轉(zhuǎn)的網(wǎng)頁內(nèi)容并保存中間結(jié)果。

6.根據(jù)權(quán)利要求5所述的方法，其中，抓取經(jīng)過跳轉(zhuǎn)的網(wǎng)頁內(nèi)容包括以下至少一項：

利用瀏覽器的排版引擎對超文本標記語言文檔對象模型HTML DOM樹進行渲染，以抓取通過HTML文檔中的內(nèi)聯(lián)框架iframe標簽進行跳轉(zhuǎn)的網(wǎng)頁內(nèi)容；

通過JavaScript引擎執(zhí)行JavaScript代碼，以抓取通過JavaScript代碼進行跳轉(zhuǎn)的網(wǎng)頁內(nèi)容；以及

通過Flash播放器插件執(zhí)行Flash以抓取通過Flash進行跳轉(zhuǎn)的網(wǎng)頁內(nèi)容。

7.根據(jù)權(quán)利要求1-6任一所述的方法，其中，從所述HTTP請求鏈提取特征以確定所述URL是否為惡意網(wǎng)址包括：

從所述HTTP請求鏈中提取以下至少一個維度的特征：上下游信息，服務(wù)器維度，網(wǎng)頁編程語言維度，時間維度，網(wǎng)頁自身描述信息；以及

利用建立的、經(jīng)過機器學習的分類模型，基于所提取的特征確定所述URL是正常網(wǎng)址還是可疑惡意網(wǎng)址。

8.根據(jù)權(quán)利要求7所述的方法，其中，

所述上下游信息包括以下至少一項信息：302跳轉(zhuǎn)次數(shù)，404頁面占比，子URL是否包含廣告聯(lián)盟鏈接，子URL是否包含惡意子鏈接，子URL是否包含小型網(wǎng)站統(tǒng)計工具；

所述服務(wù)器維度包括以下至少一項信息：是否為境外互聯(lián)網(wǎng)協(xié)議IP地址，是否是Windows IIS，是否采用內(nèi)容分發(fā)網(wǎng)絡(luò)CDN技術(shù)，是否是kangle服務(wù)器，是否是netbox服務(wù)器，是否是nginx服務(wù)器，是否是apache服務(wù)器，是否是多媒體視頻；

所述網(wǎng)頁編程語言維度包括以下至少一項信息：是否由動態(tài)服務(wù)器頁面ASP語言編寫，是否由超文本預(yù)處理器PHP語言編寫；

所述時間維度包括以下至少一項信息：是否是熱點時間，是否是周末；并且

所述網(wǎng)頁自身描述信息包括以下至少一項信息：網(wǎng)頁大小，單個URL加載時間，網(wǎng)站是否備案，是否經(jīng)過加密處理，是否是免費二級域名。

9.根據(jù)權(quán)利要求7所述的方法，其中，所述方法進一步包括：

響應(yīng)于確定所述URL是可疑惡意網(wǎng)址，將與所述URL關(guān)聯(lián)的網(wǎng)頁內(nèi)容渲染成圖片并利用光學字符識別OCR技術(shù)提取網(wǎng)頁文本內(nèi)容；

通過隱含語義模型對所述網(wǎng)頁文本內(nèi)容進行主題判斷；以及

基于主題判斷結(jié)果確定所述URL是否為惡意網(wǎng)址。

10.根據(jù)權(quán)利要求9所述的方法，其中，所述方法進一步包括：

對所述主題判斷結(jié)果進行去誤報處理。