[發(fā)明專利]一種基于遺傳算法的智能聚焦爬蟲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910072237.3
• 申請日: 2019-01-25
• 公開（公告）號: CN109815388A
• 公開（公告）日: 2019-05-28
• 發(fā)明（設(shè)計）人: 王磊;倪林
• 申請（專利權(quán)）人: 東華大學(xué)
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/955
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發(fā)明涉及一種基于遺傳算法的智能聚焦爬蟲系統(tǒng)，其特征在于，包括：初始化模塊；主題相似性判斷模塊，用于確定種子URL集中各被瀏覽網(wǎng)頁的網(wǎng)頁主題，計算網(wǎng)頁主題與用戶查找主題相關(guān)性；任務(wù)模塊，將主題相似性判斷模塊獲得的網(wǎng)頁適應(yīng)度值較高的網(wǎng)頁的鏈接存儲到URL結(jié)果集中，并根據(jù)URL結(jié)果集生成待爬取任務(wù)；爬蟲模塊。本發(fā)明將智能算法應(yīng)用到爬蟲系統(tǒng)中，使爬蟲系統(tǒng)自適應(yīng)能力增強(qiáng)，提高爬取信息的準(zhǔn)確度。本發(fā)明提供的智能聚焦爬蟲系統(tǒng)彌補(bǔ)了傳統(tǒng)爬蟲的不足，它是一種面向特定主題的爬蟲系統(tǒng)。智能聚焦爬蟲系統(tǒng)能夠有目的的提取互聯(lián)網(wǎng)中用戶所需要的資源。

技術(shù)領(lǐng)域

本發(fā)明涉及一種智能聚焦爬蟲系統(tǒng)，屬于網(wǎng)頁搜索技術(shù)領(lǐng)域。

背景技術(shù)

當(dāng)前信息技術(shù)正在以前所未有的速度不斷發(fā)展，互聯(lián)網(wǎng)上的信息呈指數(shù)級增長，如何在海量數(shù)據(jù)中檢索出用戶需要的信息變得越來越困難。因此，搜索引擎技術(shù)應(yīng)運(yùn)而生并在人們?nèi)粘Ｉ钪衅鹬e足輕重的作用，成為從互聯(lián)網(wǎng)上獲取信息的重要途徑。通用搜索引擎在搜索信息精準(zhǔn)度方面有一定局限性，無法滿足用戶對復(fù)雜資源的需求，不能適應(yīng)用戶個性化和多樣化的需要。因此，垂直搜索引擎成為未來發(fā)展趨勢。

網(wǎng)絡(luò)爬蟲則是一個自動提取網(wǎng)頁的程序，它為搜索引擎從互聯(lián)網(wǎng)(Internet)上下載網(wǎng)頁，是搜索引擎的重要組成部分。傳統(tǒng)爬蟲是從一個種子URL開始爬取網(wǎng)頁資源，存儲種子網(wǎng)頁上的所有URL地址，不可避免的提取和存儲大量與主題無關(guān)的網(wǎng)頁，使得網(wǎng)頁搜索效率大大降低，且不能滿足人們對信息精準(zhǔn)度的要求。

發(fā)明內(nèi)容

本發(fā)明的目的是：將爬蟲系統(tǒng)與人工智能算法相結(jié)合，利用人工智能算法全面分析網(wǎng)頁結(jié)構(gòu)，在一定程度上提高了預(yù)測網(wǎng)頁與主題相關(guān)度。

為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是提供了一種基于遺傳算法的智能聚焦爬蟲系統(tǒng)，其特征在于，包括：

初始化模塊，根據(jù)用戶提交的查找主題在互聯(lián)網(wǎng)上搜索起始網(wǎng)頁集生成種子URL集，確定交叉概率P_c、遺傳概率P_m、爬蟲深度d以及網(wǎng)頁適應(yīng)度值的閾值；

主題相似性判斷模塊，用于確定種子URL集中各被瀏覽網(wǎng)頁的網(wǎng)頁主題，計算網(wǎng)頁主題與用戶查找主題相關(guān)性，并計算網(wǎng)頁適應(yīng)度值，根據(jù)將計算得到的網(wǎng)頁適應(yīng)度值與初始化模塊設(shè)定的網(wǎng)頁適應(yīng)度值的閾值相比較，得到網(wǎng)頁適應(yīng)度值較高的網(wǎng)頁；

任務(wù)模塊，將主題相似性判斷模塊獲得的網(wǎng)頁適應(yīng)度值較高的網(wǎng)頁的鏈接存儲到URL結(jié)果集中，并根據(jù)URL結(jié)果集生成待爬取任務(wù)

爬蟲模塊，利用初始化模塊確定的爬蟲深度d初始化后，不斷從URL結(jié)果集獲取任務(wù)模塊生成的待爬取任務(wù)，然后發(fā)送http請求，下載指定的網(wǎng)頁鏈接到本地抓取相應(yīng)網(wǎng)頁數(shù)據(jù)直到URL結(jié)果集為空時，終止整個循環(huán)。

優(yōu)選地，所述主題相似性判斷模塊和所述爬蟲模塊在不同進(jìn)程或線程中進(jìn)行。

優(yōu)選地，所述主題相似性判斷模塊包括：

瀏覽單元，用于瀏覽所述初始化模塊中的種子URL集；

解析單元，用于對種子URL集進(jìn)行解析，分別從內(nèi)容重要性和鏈接權(quán)重方面對網(wǎng)頁進(jìn)行解析，計算所述網(wǎng)頁適應(yīng)度值。

優(yōu)選地，所述解析單元分別采用PageRank算法和貝葉斯分類算法計算網(wǎng)頁鏈接的權(quán)重和網(wǎng)頁內(nèi)容的重要程度。

優(yōu)選地，所述主題相似性判斷模塊同時啟用多個線程進(jìn)行網(wǎng)頁解析。

優(yōu)選地，所述任務(wù)模塊包括：

選擇單元，用于根據(jù)所述初始化模塊設(shè)置的網(wǎng)頁適應(yīng)度值的閾值從種子URL集中選擇出具有較高網(wǎng)頁適應(yīng)度值的網(wǎng)頁鏈接存儲到URL結(jié)果集中；

交叉單元，用于選擇未被存儲到URL結(jié)果集中的網(wǎng)頁鏈接，擴(kuò)大搜索范圍；