[發(fā)明專利]一種WEB聚焦搜索系統(tǒng)的搜索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310159265.1
• 申請(qǐng)日: 2013-05-03
• 公開(kāi)（公告）號(hào): CN103226609A
• 公開(kāi)（公告）日: 2013-07-31
• 發(fā)明（設(shè)計(jì)）人: 陳志德;林抒旻;許力
• 申請(qǐng)（專利權(quán)）人: 福建師范大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 福州君誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 35211
• 代理人: 戴雨君

技術(shù)領(lǐng)域

本發(fā)明涉及一種計(jì)算機(jī)網(wǎng)絡(luò)搜索引擎的技術(shù)領(lǐng)域，特別是涉及一種WEB聚焦搜索系統(tǒng)的搜索方法。

背景技術(shù)

在如今的網(wǎng)絡(luò)世界，隨著各種B2C、C2C、B2B的網(wǎng)站的成長(zhǎng)和各種測(cè)評(píng)網(wǎng)站的建設(shè)。足不出戶的網(wǎng)絡(luò)購(gòu)物已然成為大家生活中的一部分。現(xiàn)代搜索引擎，主要是指通用搜索引擎，如Google，百度、Yahoo等，能夠整合大量的信息，在用戶通過(guò)搜索引擎搜索的時(shí)候以極快的速度查詢數(shù)據(jù)庫(kù)，并將結(jié)果返回給用戶。用戶能夠觸及的信息量成倍的增長(zhǎng)，相應(yīng)的網(wǎng)絡(luò)上的信息量也爆炸似的增加。現(xiàn)代搜索引擎具有很高的通用性，可是它也遇到了它的瓶頸。眾所周知，通用搜索引擎雖然具有很高的通用性，可是通用性越高，搜索到的相應(yīng)的信息也就越繁雜與冗余，需要花費(fèi)用戶大量的時(shí)候用于篩選有用的信息，帶來(lái)大量的時(shí)間浪費(fèi)與人力浪費(fèi)。當(dāng)為了搜索有價(jià)值的信息付出的代價(jià)越來(lái)越高，用戶渴望搜索引擎能夠更準(zhǔn)確地滿足搜索條件，不過(guò)因?yàn)樗阉饕孀陨淼牟蛔悖沟糜脩粼谒阉饕恍┨囟ㄐ畔⒌臅r(shí)候不樂(lè)于使用它們，因?yàn)樗鼈兯阉鞒鰜?lái)的結(jié)果泛而且雜，可以說(shuō)并沒(méi)有幫用戶減少工作量。

聚焦搜索便是其中一種傳統(tǒng)搜索引擎的新競(jìng)爭(zhēng)者。聚焦搜索通過(guò)使用具有定向抓取相關(guān)網(wǎng)頁(yè)資源的聚焦爬蟲(chóng)，根據(jù)既定的抓取目標(biāo)，有選擇的訪問(wèn)萬(wàn)維網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所需要的信息，以提高搜索質(zhì)量。與通用搜索引擎不同，聚焦爬蟲(chóng)并不追求大的覆蓋，而是只抓取與主題內(nèi)容有關(guān)的網(wǎng)頁(yè)，為用戶提供特定的搜索結(jié)果。使用聚焦搜索，可以有效地提取和利用這些信息與資源。所以聚焦搜索以其特有的能力補(bǔ)充著通用搜索引擎所無(wú)法完成的用戶需求，聚焦搜索引擎是順應(yīng)時(shí)代的產(chǎn)物。

最常見(jiàn)的聚焦爬蟲(chóng)的策略便是使用深度優(yōu)先搜索算法和廣度優(yōu)先搜索算法；這兩個(gè)搜索算法能夠很全面的覆蓋所有的頁(yè)面，可是相應(yīng)的工作量也是巨大的，而且鏈接之間常常存在著環(huán)路，容易多次搜索同一個(gè)頁(yè)面導(dǎo)致做了很多無(wú)用功，并且當(dāng)爬取商城這樣的具有巨大規(guī)模的數(shù)據(jù)庫(kù)的時(shí)候很難有所收獲，抓取的信息準(zhǔn)確率也不高，難以對(duì)用戶的判斷有價(jià)值。Xpath指的是XML路徑語(yǔ)言（XML?Path?Language），它是一種用來(lái)確定XML文檔某個(gè)位置的語(yǔ)言。XPath基于XML的樹(shù)狀結(jié)構(gòu)，提供在數(shù)據(jù)結(jié)構(gòu)樹(shù)中找尋節(jié)點(diǎn)的能力。Xpath可以唯一的確定一個(gè)位置，也可以選擇具有某一類特征的位置。ArrayList就是動(dòng)態(tài)數(shù)組，用MSDN中的說(shuō)法，就是Array的復(fù)雜版本，它提供了動(dòng)態(tài)的增加和減少元素，實(shí)現(xiàn)了ICollection和IList接口，靈活的設(shè)置數(shù)組的大小等好處；每個(gè)?ArrayList?實(shí)例都有一個(gè)容量。該容量是指用來(lái)存儲(chǔ)列表元素的數(shù)組的大小。它總是至少等于列表的大小。隨著向?ArrayList?中不斷添加元素，其容量也自動(dòng)增長(zhǎng)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種使WEB聚焦搜索系統(tǒng)的搜索速度更快、爬取頁(yè)面信息更準(zhǔn)確的搜索方法；

本發(fā)明采用以下方法，其包括以下步驟：

1）?設(shè)定爬蟲(chóng)程序包括網(wǎng)頁(yè)搜集線程和網(wǎng)頁(yè)處理線程；

2）?設(shè)定網(wǎng)頁(yè)搜集線程只搜索電子商務(wù)網(wǎng)站的網(wǎng)絡(luò)地址鏈接域名；

3）?用戶選定主題關(guān)鍵詞，爬蟲(chóng)程序啟動(dòng)網(wǎng)頁(yè)搜集線程搜索電子商務(wù)網(wǎng)站上與主題關(guān)鍵詞一致的網(wǎng)絡(luò)地址鏈接；

4）?建立哈希表，對(duì)當(dāng)前網(wǎng)頁(yè)搜集線程搜索到的網(wǎng)頁(yè)的網(wǎng)絡(luò)地址鏈接與哈希表內(nèi)的網(wǎng)絡(luò)地址鏈接進(jìn)行比對(duì)，如果搜索發(fā)現(xiàn)哈希表中不存在該網(wǎng)絡(luò)地址鏈接，則將該網(wǎng)絡(luò)地址鏈接存入哈希表，否則丟棄該網(wǎng)絡(luò)地址鏈接；

5）?利用ArrayList結(jié)構(gòu)建立網(wǎng)絡(luò)地址臨時(shí)保存的鏈接緩沖池，網(wǎng)頁(yè)搜集線程將存入哈希表的該網(wǎng)絡(luò)地址鏈接同時(shí)存入待爬取的鏈接緩沖池中；

6）?所述的網(wǎng)頁(yè)搜集線程繼續(xù)搜索電子商務(wù)網(wǎng)站上下一個(gè)與主題關(guān)鍵詞一致的網(wǎng)絡(luò)地址鏈接，直至所述的網(wǎng)頁(yè)搜集線程搜索完電子商務(wù)網(wǎng)站上與關(guān)鍵主題詞一致的所有網(wǎng)絡(luò)地址鏈接，并存入鏈接緩沖池中待爬取；

7）?爬蟲(chóng)程序啟動(dòng)網(wǎng)頁(yè)處理線程，所述的網(wǎng)頁(yè)處理線程通過(guò)DOM（文件對(duì)象模型）將所有鏈接緩沖池中待爬取的網(wǎng)絡(luò)地址鏈接的頁(yè)面映射成一個(gè)由層次節(jié)點(diǎn)組成的文件，所述的層次節(jié)點(diǎn)包括文本節(jié)點(diǎn)以及圖片鏈接節(jié)點(diǎn)；所述的網(wǎng)頁(yè)處理線程利用Xpath表達(dá)式將圖片鏈接結(jié)點(diǎn)的位置表示出來(lái)，然后通過(guò)文檔解析器提取該頁(yè)面中圖片鏈接以及與主題關(guān)鍵字一致的文本節(jié)點(diǎn)的文字信息，所述的網(wǎng)頁(yè)處理線程爬取一條網(wǎng)絡(luò)地址鏈接的頁(yè)面后，鏈接緩沖池中對(duì)應(yīng)的網(wǎng)絡(luò)地址鏈接被刪除；

8）?建立數(shù)據(jù)庫(kù)，將網(wǎng)頁(yè)處理線程爬取的所有頁(yè)面中的圖片鏈接以及與主題關(guān)鍵字一致的文字信息存儲(chǔ)到數(shù)據(jù)庫(kù)中，并對(duì)每一條的網(wǎng)絡(luò)地址鏈接下的圖片鏈接以及文本信息進(jìn)行分類存儲(chǔ)；