[發明專利]一種基于語義特征提取的惡意網頁識別方法

有效

• 申請號: 202011554458.3
• 申請日: 2020-12-24
• 公開（公告）號: CN112541476B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 李志雄;林宜雄
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/148;G06V30/164;G06F16/958;G06V10/764;G06V10/82;G06N3/0442;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明公開一種基于語義特征提取的惡意網頁識別方法，包括如下步驟：S1，獲取網頁源碼；S2，利用網頁源碼進行數據預處理，預處理包括如下步驟：S2?1，提取網頁中的文本和圖像；S2?2，識別S2?1中該網頁所提取圖像中的文本；S3，通過BiLSTM?CNN神經網絡對S2?1和S2?2中提取的文本進行處理，實現對網頁的進行識別，判斷所識別的網頁為合法網頁還是惡意網頁。本發明能夠應用于網頁安全領域，考慮了數種網頁內容變形對抗的場景，在惡意網頁自動化鑒定方面取得了比傳統方法更好的識別效果，識別準確率更高。

技術領域

本發明涉及自然語言處理領域，涉及網絡安全領域，具體涉及一種基于語義特征提取的惡意網頁識別方法。

背景技術

隨著互聯網技術的進步，網絡用戶數量不斷增長，各類公司、機構紛紛建立門戶網站。用戶通過搜索引擎可以足不出戶接收到各種新潮信息。在眾多的網頁中，除了內容健康，站點安全的網頁之外，也存在著相當一部分惡意網頁。這些惡意網頁的形式多種多樣，有的網頁利用色情文字或挑逗性圖片向用戶提供不良信息；有的網頁鉆法律漏洞在網絡上開展非法博彩活動；有的網頁發布虛假信息誘騙用戶進行刷單等行為，使用戶造成經濟損失等等。根據互聯網網絡安全檢測數據分析報告顯示，互聯網惡意程序中排名前三的主要是流氓行為類、內容違法類和信息竊取類。搜索引擎是用戶獲取信息的入口，如果搜索引擎不能有效識別惡意網頁，那么將對用戶的隱私安全、財產安全造成極大威脅。

發明內容

為解決現有技術中存在的問題，本發明的目的在于提供一種基于語義特征提取的惡意網頁識別方法，本發明能夠應用于網頁安全領域，考慮了數種網頁內容變形對抗的場景，在惡意網頁自動化鑒定方面取得了比傳統方法更好的識別效果，識別準確率更高。

為實現上述目的，本發明采用如下的技術方案：

一種基于語義特征提取的惡意網頁識別方法，包括如下步驟：

S1，獲取網頁源碼；

S2，利用網頁源碼進行數據預處理，預處理包括如下步驟：

S2-1，提取網頁中的文本和圖像；

S2-2，識別S2-1中該網頁所提取圖像中的文本；

S3，通過BiLSTM-CNN神經網絡對S2-1和S2-2中提取的文本進行處理，實現對網頁的進行識別，判斷所識別的網頁為合法網頁還是惡意網頁。

優選的，S2-1中，提取網頁中的文本時，對Unicode字符進行轉義處理，基于html解析器提取文本，基于beautifulsoup對網頁Dom樹進行重構。

優選的，基于beautifulsoup對網頁Dom樹進行重構時，對該Dom樹進行深度優先遍歷，掃過樹中的每個非葉子節點，如果某個節點的屬性是文本化標簽，則利用soup.delete()方法該節點從Dom樹中去除，對Dom樹遍歷完成后，得到新的Dom樹，對新的Dom樹進行二次序列化，生成一份新的html文本。

優選的，S2-2中，通過OCR方法識別出圖像的文本，對所提取圖像進行分割，使圖像尺寸滿足OCR接口的長寬限制。

優選的，基于PhantomJs對提取的圖像進行分割，對于過長的圖片，利用Canny算法進行圖片分割；其中，所述過長的圖片為base64編碼后大小超過4M，或最長邊超過4096px的圖片。

優選的，利用Canny算法進行圖片分割時，首先通過濾波消除噪聲，然后計算梯度的幅值和方向，選擇Sobel算子計算梯度的幅值和方向，公式如下：

對計算后的結果進行非最大值抑制，然后使用雙閾值連接邊緣，完成圖像分割。