[發(fā)明專利]基于正則表達式的URL清洗方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811169052.6
• 申請日: 2018-10-08
• 公開（公告）號: CN109522461B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 陳鑫;肖龍源;蔡振華;李稀敏;劉曉葳;譚玉坤
• 申請（專利權(quán)）人: 廈門快商通信息技術(shù)有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F40/289
• 代理公司: 廈門仕誠聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35227
• 代理人: 樂珠秀

本發(fā)明公開了一種基于正則表達式的URL清洗方法及系統(tǒng)，其通過爬取網(wǎng)站的URL及其對應(yīng)的公司名稱；對所述公司名稱進行分詞處理，得到分詞結(jié)果；構(gòu)造與所述分詞結(jié)果相應(yīng)的正則表達式；訪問所述URL并提取對應(yīng)的網(wǎng)站標題；將所述正則表達式與所述網(wǎng)站標題進行匹配，并根據(jù)匹配結(jié)果對所述URL進行清洗；從而極大的提高了URL清洗效率，節(jié)省大量的人工檢查時間，并提高了驗證URL所對應(yīng)網(wǎng)站內(nèi)容的準確程度。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)信息處理技術(shù)領(lǐng)域，特別是一種基于正則表達式的URL清洗方法及其應(yīng)用該方法的系統(tǒng)。

背景技術(shù)

URL，也被稱為網(wǎng)頁地址，是Internet上標準的資源的地址，用于完整地描述Internet上網(wǎng)頁和其他資源的地址的一種標識方法。Internet上的每一個網(wǎng)頁都具有一個唯一的URL地址名稱標識，通常稱之為URL地址，這種地址可以是本地磁盤，也可以是局域網(wǎng)上的某一臺計算機，更多的是Internet上的站點。簡單地說，URL就是Web地址，俗稱“網(wǎng)址”。

通常爬蟲工程師在爬完網(wǎng)站數(shù)據(jù)之后要對這些數(shù)據(jù)做清洗操作，其中比較麻煩的就是URL的清洗。對于結(jié)構(gòu)完整的URL(完整域名和域名后綴)，我們可以對它發(fā)送請求，獲取它的服務(wù)器返回的狀態(tài)碼，如果狀態(tài)碼為200則表示請求成功，如果狀態(tài)碼為其它數(shù)值則表示請求失敗。這種方法能過濾掉大部分URL，但是無法過濾掉滿足狀態(tài)碼為200但網(wǎng)站內(nèi)容與網(wǎng)站的公司名稱完全不相符的博彩網(wǎng)或h網(wǎng)或其他網(wǎng)站；例如，網(wǎng)站標題包含“婚紗攝影”，但網(wǎng)站內(nèi)容為“日用品銷售”的情況。從而導(dǎo)致清洗效率低，需要耗費大量時間進行人工檢查。

發(fā)明內(nèi)容

本發(fā)明為解決上述問題，提供了一種基于正則表達式的URL清洗方法及系統(tǒng)，通過自然語言處理的方法來識別網(wǎng)站標題，將網(wǎng)站標題與公司名稱進行驗證匹配，能夠極大的提高URL的清洗效率。

為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種基于正則表達式的URL清洗方法，其包括以下步驟：

a.爬取網(wǎng)站的URL及其對應(yīng)的公司名稱；

b.對所述公司名稱進行分詞處理，得到分詞結(jié)果；

c.構(gòu)造與所述分詞結(jié)果相應(yīng)的正則表達式；

d.訪問所述URL并提取對應(yīng)的網(wǎng)站標題；

e.將所述正則表達式與所述網(wǎng)站標題進行匹配，并根據(jù)匹配結(jié)果對所述URL進行清洗。

優(yōu)選的，所述的步驟a中，是根據(jù)爬取主題進行設(shè)置對應(yīng)的爬取關(guān)鍵詞，并利用Python爬蟲進行獲取所述爬取關(guān)鍵詞相關(guān)聯(lián)的URL，并同時爬取所述URL對應(yīng)的公司名稱。

優(yōu)選的，所述的步驟b中，進一步統(tǒng)計所述分詞結(jié)果的詞頻；所述的步驟c中，根據(jù)所述分詞結(jié)果的詞頻進行構(gòu)造所述分詞結(jié)果相應(yīng)的正則表達式。

進一步的，所述的步驟b中，是采用Python中的結(jié)巴分詞工具對所述公司名稱進行分詞處理，并采用Python中的collections包里的Counter模塊進行統(tǒng)計所述分詞結(jié)果的詞頻。

進一步的，所述的步驟c中，是通過對所述分詞結(jié)果的詞頻進行從大到小的排序，并對排序在前的預(yù)設(shè)數(shù)量的分詞結(jié)果進行構(gòu)造相應(yīng)的正則表達式；或者，采用閾值法對所述分詞結(jié)果的詞頻進行計算，并對詞頻大于預(yù)設(shè)閾值的分詞結(jié)果進行構(gòu)造相應(yīng)的正則表達式。

優(yōu)選的，所述正則表達式的構(gòu)造，是通過將所述分詞結(jié)果與特定字符串相組合進行構(gòu)造正則表達式，所述特定字符串前置于和/或后置于所述分詞結(jié)果；所述特定字符串包括：通配符、轉(zhuǎn)義字符、特殊意義字符、自定義字符、空白字符、匹配次數(shù)字符中的一種以上。

優(yōu)選的，所述的步驟d中，所述網(wǎng)站標題的提取方法是采用Xpath對所述爬取得到網(wǎng)站進行字符串匹配，獲取title/title標簽內(nèi)容，即為網(wǎng)站標題。