[發明專利]檢測網站的方法和系統

在審

• 申請號: 201810164312.4
• 申請日: 2018-02-27
• 公開（公告）號: CN110309402A
• 公開（公告）日: 2019-10-08
• 發明（設計）人: 龐玉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/958
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 褚敏;宋子良

1.一種檢測網站的方法，其特征在于，包括：

確定待檢測網站和基準網站的網頁結構的相似度；

在所述相似度大于第一預設值的情況下，判斷所述待檢測網站中是否存在指定類型的關鍵詞；

在確定所述待檢測網站中存在所述指定類型的關鍵詞的情況下，確定所述待檢測網站為指定類型的網站。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在所述相似度小于等于所述第一預設值且大于第二預設值的情況下，判斷所述待檢測網站的域名與所述基準網站的域名的相似度是否大于第三預設值，和/或，所述待檢測網站的域名價格是否小于第四預設值；

在確定所述待檢測網站的域名與所述基準網站的域名的相似度大于所述第三預設值，和/或，所述待檢測網站的域名價格小于所述第四預設值的情況下，判斷所述待檢測網站中是否存在所述指定類型的關鍵詞；

在確定所述待檢測網站中存在所述指定類型的關鍵詞的情況下，確定所述待檢測網站為所述指定類型的網站。

3.根據權利要求1所述的方法，其特征在于，確定所述待檢測網站和基準網站的網頁結構的相似度，包括：

獲取所述待檢測網站的DOM樹；

對所述DOM樹進行分解，得到樹路徑集合；

根據所述樹路徑集合確定所述待檢測網站與所述基準網站的網頁結構的相似度。

4.根據權利要求3所述的方法，其特征在于，判斷所述待檢測網站中是否存在指定類型的關鍵詞，包括：

抽取所述樹路徑集合中的關鍵詞；

對比所述樹路徑集合中的關鍵詞與所述指定類型的關鍵詞，得到所述相似度；

在所述相似度大于相似度閾值的情況下，確定所述待檢測網站中存在所述指定類型的關鍵詞。

5.一種檢測網站的方法，其特征在于，包括：

獲取待檢測網站的待檢測數據；

確定所述待檢測數據與異常網站庫中的數據的第一相似度，其中，所述異常網站庫包含多個異常網站的網頁結構；

確定所述待檢測數據與敏感詞庫中的關鍵詞的第二相似度；

若所述第一相似度大于第一閾值，且所述第二相似度大于第二閾值，則確定所述待檢測網站為指定類型的網站。

6.根據權利要求5所述的方法，其特征在于，在獲取待檢測網站的待檢測數據之前，所述方法還包括：

構建所述異常網站庫和所述敏感詞庫；

根據所述異常網站庫和所述敏感詞庫構建異常檢測庫。

7.根據權利要求6所述的方法，其特征在于，構建所述敏感詞庫，包括：

獲取所述多個異常網站的數據集；

對所述多個異常網站的數據集進行處理，得到所述數據集的樹路徑集合；

抽取所述樹路徑集合中的關鍵詞，其中，所述關鍵詞為敏感關鍵詞；

根據抽取到的關鍵詞構建所述敏感詞庫。

8.根據權利要求6所述的方法，其特征在于，構建所述異常網站庫，包括：

獲取所述多個異常網站的DOM樹；

對所述DOM樹進行分解，得到樹路徑集合；

根據所述樹路徑集合確定所述多個異常網站的網頁結構的相似度；

根據所述網頁結構的相似度對所述多個異常網站進行聚類處理，得到聚類結果；

根據所述聚類結果構建所述異常網站庫。

9.根據權利要求8所述的方法，其特征在于，根據所述樹路徑集合確定所述多個異常網站的網頁結構的相似度，包括：

獲取所述樹路徑集合中的每條路徑與匹配路徑的第一相似度，其中，所述匹配路徑為與所述每條路徑對應的相似度最高的路徑；

根據所述第一相似度確定所述網頁結構的相似度。

10.根據權利要求8所述的方法，其特征在于，根據所述聚類結果構建所述異常網站庫，包括：

根據所述聚類結果確定每類異常網站中的模板網頁；

基于所述模板網頁構建所述異常網站庫。