[發(fā)明專利]基于正則表達式的URL清洗方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811169052.6
• 申請日: 2018-10-08
• 公開（公告）號: CN109522461B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 陳鑫;肖龍源;蔡振華;李稀敏;劉曉葳;譚玉坤
• 申請（專利權(quán)）人: 廈門快商通信息技術(shù)有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F40/289
• 代理公司: 廈門仕誠聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35227
• 代理人: 樂珠秀

1.一種基于正則表達式的URL清洗方法，其特征在于，包括以下步驟：

a.爬取網(wǎng)站的URL及其對應(yīng)的公司名稱；

b.對所述公司名稱進行分詞處理，得到分詞結(jié)果；

c.構(gòu)造與所述分詞結(jié)果相應(yīng)的正則表達式；

d.訪問所述URL并提取對應(yīng)的網(wǎng)站標(biāo)題；

e.將所述正則表達式與所述網(wǎng)站標(biāo)題進行匹配，并根據(jù)匹配結(jié)果對所述URL進行清洗；

所述的步驟b中，進一步統(tǒng)計所述分詞結(jié)果的詞頻；所述的步驟c中，根據(jù)所述分詞結(jié)果的詞頻進行構(gòu)造所述分詞結(jié)果相應(yīng)的正則表達式。

2.根據(jù)權(quán)利要求1所述的一種基于正則表達式的URL清洗方法，其特征在于：所述的步驟a中，是根據(jù)爬取主題進行設(shè)置對應(yīng)的爬取關(guān)鍵詞，并利用Python爬蟲進行獲取所述爬取關(guān)鍵詞相關(guān)聯(lián)的URL，并同時爬取所述URL對應(yīng)的公司名稱。

3.根據(jù)權(quán)利要求1所述的一種基于正則表達式的URL清洗方法，其特征在于：所述的步驟b中，是采用Python中的結(jié)巴分詞工具對所述公司名稱進行分詞處理，并采用Python中的collections包里的Counter模塊進行統(tǒng)計所述分詞結(jié)果的詞頻。

4.根據(jù)權(quán)利要求1所述的一種基于正則表達式的URL清洗方法，其特征在于：所述的步驟c中，是通過對所述分詞結(jié)果的詞頻進行從大到小的排序，并對排序在前的預(yù)設(shè)數(shù)量的分詞結(jié)果進行構(gòu)造相應(yīng)的正則表達式；或者，采用閾值法對所述分詞結(jié)果的詞頻進行計算，并對詞頻大于預(yù)設(shè)閾值的分詞結(jié)果進行構(gòu)造相應(yīng)的正則表達式。

5.根據(jù)權(quán)利要求1至4任一項所述的一種基于正則表達式的URL清洗方法，其特征在于：所述正則表達式的構(gòu)造，是通過將所述分詞結(jié)果與特定字符串相組合進行構(gòu)造正則表達式，所述特定字符串前置于和/或后置于所述分詞結(jié)果；所述特定字符串包括：通配符、轉(zhuǎn)義字符、特殊意義字符、自定義字符、空白字符、匹配次數(shù)字符中的一種以上。

6.根據(jù)權(quán)利要求1所述的一種基于正則表達式的URL清洗方法，其特征在于：所述的步驟d中，所述網(wǎng)站標(biāo)題的提取方法是采用Xpath對所述爬取得到網(wǎng)站進行字符串匹配，獲取title和/title標(biāo)簽內(nèi)容，即為網(wǎng)站標(biāo)題。

7.根據(jù)權(quán)利要求1所述的一種基于正則表達式的URL清洗方法，其特征在于：所述的步驟e中，將所述正則表達式與所述網(wǎng)站標(biāo)題進行匹配，若匹配成功則返回True，若匹配失敗則返回False，并對匹配失敗的網(wǎng)站所對應(yīng)的URL進行清洗。

8.一種基于正則表達式的URL清洗系統(tǒng)，其特征在于，包括：

數(shù)據(jù)爬取模塊，用于爬取網(wǎng)站的URL及其對應(yīng)的公司名稱；

分詞處理模塊，用于對所述公司名稱進行分詞處理，得到分詞結(jié)果；

正則表達式生成模塊，用于構(gòu)造與所述分詞結(jié)果相應(yīng)的正則表達式；

網(wǎng)站標(biāo)題提取模塊，其通過訪問所述URL進行提取對應(yīng)的網(wǎng)站標(biāo)題；

URL清洗模塊，其將所述正則表達式與所述網(wǎng)站標(biāo)題進行匹配，并根據(jù)匹配結(jié)果對所述URL進行清洗；

所述的分詞處理模塊中，進一步統(tǒng)計所述分詞結(jié)果的詞頻；所述的正則表達式生成模塊中，根據(jù)所述分詞結(jié)果的詞頻進行構(gòu)造所述分詞結(jié)果相應(yīng)的正則表達式。