[發(fā)明專利]一種基于網(wǎng)絡爬蟲的網(wǎng)站行政歸屬識別方法

在審

• 申請?zhí)枺?/td>: 201710866237.1
• 申請日: 2017-09-22
• 公開（公告）號: CN107590265A
• 公開（公告）日: 2018-01-16
• 發(fā)明（設計）人: 邱煜銘;范淵
• 申請（專利權）人: 杭州安恒信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州賽科專利代理事務所(普通合伙)33230
• 代理人: 郭薇,馮年群

1.一種基于網(wǎng)絡爬蟲的網(wǎng)站行政歸屬識別方法，其特征在于：所述方法包括以下步驟：

步驟1：初始化待處理網(wǎng)站隊列，創(chuàng)建線程；

步驟2：根據(jù)待處理網(wǎng)站的URL，獲取所述URL的一級域名URL；

步驟3：爬取所述一級域名URL的首頁，解析獲取首頁的內(nèi)容信息；

步驟4：判斷內(nèi)容信息中是否包含歸屬地名稱；若是，則該歸屬地名稱為待處理網(wǎng)站的歸屬地，返回步驟2；若否，進行下一步；

步驟5：采用命名實體識別工具，提取內(nèi)容信息中的關鍵字，將關鍵字存入第一關鍵字表，并將當前URL標記為已抓取URL；將當前URL的內(nèi)容中的二級URL放入待處理網(wǎng)站隊列，爬取二級URL的二級頁面，解析獲取二級頁面的內(nèi)容信息，并將二級頁面的內(nèi)容信息中的關鍵字存入第二關鍵字表；

步驟6：對第一關鍵字表和第二關鍵字表進行匹配；判斷第一關鍵字表和第二關鍵字表中是否包含ICP信息，若有，根據(jù)ICP信息獲得當前域名所在省位置，通過句法分析匹配出對應的地市信息，得到網(wǎng)站的歸屬地，返回步驟2；若否，進行下一步；

步驟7：通過查找第一關鍵字表和第二關鍵字表中是否包括與地址相關的信息，對地址信息進行句法分析，匹配出匹配度最高的共同地址，得到網(wǎng)站的歸屬地，返回步驟2。

2.根據(jù)權利要求1所述的一種基于網(wǎng)絡爬蟲的網(wǎng)站行政歸屬識別方法，其特征在于：所述步驟2中，若爬取過程中網(wǎng)頁內(nèi)容包含反爬信息，則將URL放回待處理網(wǎng)站隊列中，并進行反爬處理。

3.根據(jù)權利要求2所述的一種基于網(wǎng)絡爬蟲的網(wǎng)站行政歸屬識別方法，其特征在于：所述反爬處理包括切換IP和降低請求速率。

4.根據(jù)權利要求1所述的一種基于網(wǎng)絡爬蟲的網(wǎng)站行政歸屬識別方法，其特征在于：所述步驟3中，首頁的內(nèi)容信息包括人名、地名、機構名、郵編和傳真電話。

5.根據(jù)權利要求1所述的一種基于網(wǎng)絡爬蟲的網(wǎng)站行政歸屬識別方法，其特征在于：所述步驟6中，ICP信息包括單位名稱、網(wǎng)站ICP許可證號、網(wǎng)站名稱和網(wǎng)站首頁。