[發明專利]異常網頁識別方法、異常站點識別方法及裝置

有效

• 申請號: 202110736346.8
• 申請日: 2021-06-30
• 公開（公告）號: CN113641933B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 劉偉;余文利;張博;林賽群
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/958;G06F40/289;G06F40/30;G06F18/2415;G06N3/0464;G06N3/047;G06N3/048
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

1.一種異常網頁識別方法，包括：

從待識別網頁的頁面結構信息中提取頁面結構特征；

從所述待識別網頁的文本內容信息中提取文本語義特征；

根據所述頁面結構特征和所述文本語義特征，確定所述待識別網頁的異常程度；以及

響應于確定所述異常程度大于第一閾值，判斷所述待識別網頁為異常網頁。

2.根據權利要求1所述的方法，其中，所述頁面結構信息包括所述待識別網頁中的元素的坐標信息，并且

其中，從待識別網頁的頁面結構信息中提取頁面結構特征包括：

根據所述坐標信息，確定所述待識別網頁的頁面留白信息，所述留白信息包括段落縮進、段落間距、元素對齊方式中的至少一種；以及

根據所述頁面留白信息，確定所述頁面結構特征。

3.根據權利要求1或2所述的方法，其中，所述頁面結構信息包括所述待識別網頁的樣式信息，并且

其中，從待識別網頁的頁面結構信息中提取頁面結構特征包括：

通過匹配所述待識別網頁的樣式信息與同源網頁的樣式信息，確定所述待識別網頁與所述同源網頁的樣式匹配度，其中，所述同源網頁與所述待識別網頁屬于同一個站點；以及

根據所述樣式匹配度，確定所述頁面結構特征。

4.根據權利要求3所述的方法，其中，所述樣式信息包括以下至少一種：字體樣式、字體大小、字體顏色、背景圖像、背景顏色。

5.根據權利要求1-4中任一項所述的方法，其中，所述文本語義特征包括段落相關性特征，并且

其中，從所述待識別網頁的文本內容信息中提取文本語義特征包括：

對所述待識別網頁中的文本進行分段，得到一個或多個段落；

分別確定所述一個或多個段落中的每一個段落的段落語義向量，所述段落語義向量為相應段落所包括的各個詞的詞向量的拼接；以及

將一個段落的段落語義向量或多個段落的段落語義向量的拼接確定為所述段落相關性特征。

6.根據權利要求1-5中任一項所述的方法，其中，所述文本語義特征包括語句順暢度特征，并且

其中，從所述待識別網頁的文本內容信息中提取文本語義特征包括：

獲取所述待識別網頁中的一個或多個語句；

分別確定所述一個或多個語句中的每一個語句的語句語義向量，所述語句語義向量為相應語句所包括的各個詞的詞向量的拼接；以及

將一個語句的語句語義向量或多個語句的語句語義向量的拼接確定為所述語句順暢度特征。

7.根據權利要求6所述的方法，其中，獲取所述待識別網頁中的一個或多個語句包括：

對所述待識別網頁中的多個語句進行抽樣，得到所述一個或多個語句。

8.根據權利要求1-7中任一項所述的方法，其中，所述文本語義特征包括關鍵詞復現特征，并且

其中，從所述待識別網頁的文本內容信息中提取文本語義特征包括：

對所述待識別網頁的標題進行分詞，得到至少一個目標詞；

從所述至少一個目標詞中確定一個或多個關鍵詞，其中，所述關鍵詞在所述待識別網頁的正文中出現的次數大于一預設值；以及

將一個關鍵詞的詞向量或多個關鍵詞的詞向量的拼接確定為所述關鍵詞復現特征。

9.根據權利要求1-8中任一項所述的方法，其中，根據所述頁面結構特征和所述文本語義特征，確定所述待識別網頁的異常程度包括：

將所述頁面結構特征和所述文本語義特征輸入預設的識別模型，并獲得所述識別模型輸出的所述待識別網頁的異常程度。

10.一種異常站點識別方法，包括：

根據權利要求1-9中任一項所述的方法，判斷待識別站點中的多個網頁是否為異常網頁；

響應于確定所述多個網頁中的異常網頁所占的比例大于第二閾值，判斷所述待識別站點為異常站點。