[發明專利]一種基于URLs極大模式的惡意URL檢測方法

在審

• 申請號: 201610023559.5
• 申請日: 2016-01-14
• 公開（公告）號: CN105528544A
• 公開（公告）日: 2016-04-27
• 發明（設計）人: 張鵬;熊翠文;劉慶云;楊嶸;鄭超;孫永
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F21/56
• 分類號: G06F21/56
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 司立彬

技術領域

本發明屬于數據挖掘領域，涉及一種基于URLs極大模式的惡意URL檢測方法，根據 URL進行極大模式挖掘，以快速檢測URL指向的惡意網站。

背景技術

隨著互聯網技術的不斷發展，網絡犯罪可能采用的形式也越來越多，其中，網絡威脅主 要采用HTTP或HTTPS協議。目前，網絡威脅的一種主要機制是引誘用戶點擊相應的URL (統一資源定位器)來訪問惡意網站，如果URL是惡意的，將導致用戶受到特定的威脅，從 而使用戶受到攻擊，目前惡意URL是網絡上的一大主要風險，檢測惡意URL是網絡安全的 重要任務。在這個過程中，惡意URL檢測也面臨著以下一些挑戰：1、實時監測。為有效保 護用戶，當用戶即將訪問惡意URL時，惡意URL檢測方法應能在短時間內檢測出惡意URL； 2、新的URL檢測。為避免被檢測，攻擊者會頻繁創建新的惡意URL，惡意URL檢測方法 應能有效地檢測出新的、未知的惡意URL；3、有效性檢測。惡意URL檢測方法應具有較高 的精度。為了應對這些挑戰，目前已經存在一些惡意URL檢測方法，大致可以分為三大類： 基于黑名單的方法、基于內容的方法、基于URL的方法。基于黑名單的方法創建一個惡意 URL黑名單，并通過手工標記、蜜罐技術、用戶反饋和爬蟲等技術來維護，若被檢測的URL 出現在黑名單中則被報告為惡意URL，這種方法簡單、準確度高，但是不能檢測新的、未知 的惡意URL；基于內容的方法分析URL相應的網頁內容，根據網頁內容的特征來檢測URL 是否為惡意的，這種方法適合于離線檢測和分析，若用于在線檢測，會因為網頁內容的掃描 和分析消耗大量的時間帶來顯著的延遲；基于URL的方法使用URL的信息來進行檢測，例 如McGrathD.K.和GuptaM.根據URL長度、域名長度等特征分析了正常URL和釣魚URL 之間的差異，構建檢測釣魚URL的分類器，MaJ.等人根據主機的特征和相關信息應用機器 學習的方法構造分類器來檢測惡意URL，但是使用主機的特征會帶來較明顯的延遲。為此， 本發明提出了一種URLs極大模式挖掘的方法，能靈活、高效地挖掘出惡意URL模式，URLs 極大模式能快速高效地檢測惡意URL，在檢測新的、未知的惡意URL方面具有良好的擴展 性。不僅如此，挖掘的惡意URL模式是用戶可理解的，便于網絡安全專家修改和調整以提高 檢測質量。挖掘出的URL模式使用公知的有窮自動機方法匹配被檢測的URL，若被檢測的 URL與惡意URL模式匹配，則被判定是惡意的。

概念解釋

URL：UniformResourceLocator，統一資源定位符，是對可以從互聯網上得到的資源的 位置和訪問方法的一種簡潔的表示，是互聯網上標準資源的地址。

域名(h)：domainname，是由一串用點分隔的名字組成的因特網上某臺計算機或計算機組 的名稱，用于在數據傳輸時標識計算機的電子方位，在URL模式中表示成一個段模式，在 URL中表現為第一個"/"之前的所有字符組成的字符串。

文件名(f)：filename，網頁文件在服務器上存儲的文件名稱，在URL模式中表示成一個 段模式，在URL中表現為最后一個"/"之后的所有字符組成的字符串。

路徑名(d)：directorypath，網頁文件在服務器上存儲的路徑名稱，在URL模式中表示成 一個段模式，在URL中表現為除去第一個"/"和第一個"/"之前與最后一個"/"和最后一個"/"之 后的所有字符組成的字符串。

通配符(*)：在字符串中表示零個或多個字符的符號。

URL段模式(s)：簡稱段模式，URL規范中定義的標準字符組成的字符串，可以包含多個 通配符，但是通配符不相鄰，s＝c₁...c_l。

段模式長度(|s|)：段模式中字符的個數，例如，s＝c₁...c_l的長度|s|＝l。

段模式前綴：對于段模式s＝c₁...c_l，對于任意i(1≤i≤l)，段模式的前i個字符組 成的段模式s[1,i]＝c₁...c_i稱為段模式前綴，若i＞l時，段模式前綴為段模式本身。

URL段序列模式(u)：簡稱段序列模式，由URL段模式組成的序列，u＝<s₁,...,s_l>。