[發明專利]一種基于機器學習的網頁代理發現方法在審
| 申請號： | 201710858063.4 | 申請日： | 2017-09-21 |
| 公開（公告）號： | CN107818132A | 公開（公告）日： | 2018-03-20 |
| 發明（設計）人： | 張鵬;陳志鵬;郭莉;劉慶云 | 申請（專利權）人： | 中國科學院信息工程研究所 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30;G06F21/56 |
| 代理公司： | 北京君尚知識產權代理事務所(普通合伙)11200 | 代理人： | 余長江 |
| 地址： | 100093 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 機器 學習 網頁 代理 發現 方法 | ||
1.一種基于機器學習的網頁代理發現方法，步驟包括：
通過爬蟲主動獲取代理及非代理的網頁數據集；
從所述網頁數據集中分別抽取URL特征和DOM特征，根據該URL特征和/或DOM特征構建一含有多維特征的向量作為訓練集；
利用機器學習方法在所述訓練集上構建模型并進行訓練，通過訓練出的模型進行網頁代理識別。
2.根據權利要求1所述的方法，其特征在于，所述網頁數據集包括URL和網頁內容。
3.根據權利要求1所述的方法，其特征在于，所述URL特征包括：數字、敏感詞匯、特殊符號、IP域名、嵌入域名、頂級域名使用非常用域名以及URL生效生存期短。
4.根據權利要求1所述的方法，其特征在于，所述DOM特征包括：表單、Javascript特征。
5.根據權利要求4所述的方法，其特征在于，所述表單包括：
結構特征：包括一輸入框和位于輸入框下方的多個可選的復選框；
屬性特征：復選框值含有敏感詞匯，action屬性值含有敏感字符串。
6.根據權利要求4所述的方法，其特征在于，所述Javascript特征包括函數屬性值含有敏感字符串。
7.根據權利要求1所述的方法，其特征在于，所述抽取包括三種方法：
1)針對所述URL特征，通過URL正則表達式進行字符串檢測，通過請求域名的whois信息計算URL生效生存期；
2)針對所述DOM特征，通過Beautiful Soup find_all()方法進行解析；
3)通過python式的函數處理導航、搜索、修改分析樹功能。
8.根據權利要求1所述的方法，其特征在于，通過爬蟲主動獲取代理及非代理的測試集，從該測試集抽取URL特征和DOM特征，構建特征向量并進行代理識別，與所述通過訓練出的模型進行網頁代理識別的結果進行對比分析。
9.根據權利要求1所述的方法，其特征在于，所述機器學習方法包括Logistic Regression、Bayes、SVM-linear及SVM-RBF。
10.根據權利要求1所述的方法，其特征在于，如果代理識別結果存在誤差，則將其錯誤樣例加入訓練集中重新進行模型訓練。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院信息工程研究所，未經中國科學院信息工程研究所許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710858063.4/1.html，轉載請聲明來源鉆瓜專利網。
