[發明專利]網頁暗鏈檢測方法、裝置及計算機可讀存儲介質

有效

• 申請號: 201710316339.6
• 申請日: 2017-05-05
• 公開（公告）號: CN107273416B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 劉毅
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/35
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種網頁暗鏈檢測方法，其特征在于，所述方法應用于設置在Web瀏覽器和Web服務器之間的應用防火墻，所述方法包括如下步驟：

獲取預設網頁分類模型的訓練集，所述訓練集中的網頁根據所述網頁分類模型被劃分為表示不含有暗鏈的正例樣本和表示含有暗鏈的負例樣本，且所述正例樣本和所述負例樣本分別被劃分為若干網頁類型，其中，所述正例樣本的網頁類型包括正常游戲資訊網頁、醫療機構網頁、高校網頁、購物網頁和/或新聞資訊網頁，所述負例樣本的網頁類型包括網游外掛、醫療廣告、色情賭博、辦證培訓和/或商業廣告；

獲取待檢測網頁的文本特征向量和所述訓練集中的網頁的文本特征向量；

基于鄰近算法從所述訓練集中選取若干個與所述待檢測網頁的文本特征向量符合預設相似條件的網頁的文本特征向量，作為所述待檢測網頁的文本特征向量的鄰近向量，并根據所述網頁分類模型確定所述鄰近向量對應的網頁類型，作為所述待檢測網頁的候選網頁類型；

分別計算所述待檢測網頁屬于每個候選網頁類型的概率；

判斷概率最大值對應的候選網頁類型屬于所述正例樣本還是所述負例樣本，若屬于所述負例樣本，則判定所述待檢測網頁中含有暗鏈。

2.如權利要求1所述的方法，其特征在于，所述獲取待檢測網頁的文本特征向量和所述訓練集中的網頁的文本特征向量的步驟包括：

獲取待檢測網頁的文本特征集和所述訓練集中的網頁的文本特征集，其中，所述待檢測網頁的文本特征集和所述訓練集中的網頁的文本特征集包含相同的關鍵詞；

根據所述關鍵詞在所述待檢測網頁的文本特征集中的詞頻和權重進行計算，得到所述待檢測網頁的文本特征向量；

根據所述關鍵詞在所述訓練集中的網頁的文本特征集中的詞頻和權重進行計算，得到所述訓練集中的網頁的文本特征向量。

3.如權利要求2所述的方法，其特征在于，所述獲取待檢測網頁的文本特征集和所述訓練集中的網頁的文本特征集的步驟包括：

獲取所述訓練集中的網頁的文本；

對獲取到的所述文本進行分詞和去停用詞處理；

從處理結果中提取若干關鍵詞，得到所述訓練集中的網頁的文本特征集；

將得到的所述訓練集中的網頁的文本特征集作為所述待檢測網頁的文本特征集。

4.如權利要求1至3中任一項所述的方法，其特征在于，所述基于鄰近算法從所述訓練集中選取若干個與所述待檢測網頁的文本特征向量符合預設相似條件的網頁的文本特征向量，作為所述待檢測網頁的文本特征向量的鄰近向量的步驟包括：

根據獲取到的所述待檢測網頁的文本特征向量和所述訓練集中的網頁的文本特征向量，計算所述待檢測網頁與所述訓練集中的網頁的文本相似度；

若計算得到的所述文本相似度大于或等于預設閾值，則將對應的所述訓練集中的網頁的文本特征向量作為所述待檢測網頁的文本特征向量的鄰近向量。

5.如權利要求4所述的方法，其特征在于，所述根據獲取到的所述待檢測網頁的文本特征向量和所述訓練集中的網頁的文本特征向量，計算所述待檢測網頁與所述訓練集中的網頁的文本相似度的步驟包括：

計算所述待檢測網頁的文本特征向量和所述訓練集中的網頁的文本特征向量之間的夾角的余弦值；

將計算結果作為所述待檢測網頁和所述訓練集中的網頁的文本相似度。

6.如權利要求5所述的方法，其特征在于，所述分別計算所述待檢測網頁屬于每個候選網頁類型的概率的步驟包括：

基于所述候選網頁類型將計算得到的所述文本相似度進行劃分；

分別計算每個候選網頁類型下的文本相似度的平均值，作為所述待檢測網頁屬于對應候選網頁類型的概率。

7.如權利要求1所述的方法，其特征在于，所述獲取待檢測網頁的文本特征向量和所述訓練集中的網頁的文本特征向量的步驟之前，還包括：

通過爬蟲程序定時爬取預設的待檢測網頁；

或者，當偵測到網絡訪問請求時，將所述網絡訪問請求的響應網頁作為待檢測網頁。