[發(fā)明專利]一種面向領(lǐng)域的網(wǎng)絡(luò)信息搜索方法

無效

• 申請?zhí)枺?/td>: 201210576696.3
• 申請日: 2012-12-27
• 公開（公告）號: CN103049542A
• 公開（公告）日: 2013-04-17
• 發(fā)明（設(shè)計）人: 張健;馮飛;胡亮;齊林;張小栓;徐曉莉;邢曉輝;魏宗洋;王楠;甘露;劉菁
• 申請（專利權(quán)）人: 北京信息科技大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種面向領(lǐng)域的網(wǎng)絡(luò)信息搜索方法，其特征在于：

首先咨詢領(lǐng)域?qū)＜业囊庖姡瑲w納總結(jié)領(lǐng)域網(wǎng)站集；再通過網(wǎng)絡(luò)蜘蛛收集一些典型的網(wǎng)頁構(gòu)成訓(xùn)練文檔集合，通過上述領(lǐng)域網(wǎng)站集人工識別出相關(guān)性和非相關(guān)性；然后根據(jù)專家意見建立能夠充分代表該領(lǐng)域的名詞庫，根據(jù)領(lǐng)域名詞庫定義，利用網(wǎng)頁分析器獲取網(wǎng)頁中該領(lǐng)域的相關(guān)信息；接著根據(jù)領(lǐng)域特點并利用機器學(xué)習(xí)的方法，在訓(xùn)練集合上建模得到網(wǎng)頁自動分類器；再接著編寫網(wǎng)絡(luò)信息采集策略，通過鏈接和內(nèi)容的分析指導(dǎo)蜘蛛采集充足的領(lǐng)域相關(guān)性高的目標網(wǎng)頁，并利用分類器進行判別分類；最后將抽取出來的領(lǐng)域信息存放到數(shù)據(jù)庫中，為將來用戶檢索提供領(lǐng)域數(shù)據(jù)源；具體步驟包括了三大模塊：網(wǎng)頁采集蜘蛛模塊，分類器訓(xùn)練模塊和數(shù)據(jù)索引模塊。

2.根據(jù)權(quán)利要求1所述的面向領(lǐng)域的網(wǎng)絡(luò)信息搜索方法，其特征在于所述的分類器訓(xùn)練模塊功能可以得到自動判別采集來的網(wǎng)頁的領(lǐng)域主題相關(guān)性，具體步驟如下：

(1)根據(jù)領(lǐng)域網(wǎng)站集，通過蜘蛛從中采集一些網(wǎng)頁作為訓(xùn)練網(wǎng)頁，同時也采集一定數(shù)量的有代表性的網(wǎng)頁作為測試網(wǎng)頁；

(2)采用人工標注方式，標注領(lǐng)域相關(guān)性的和非相關(guān)性的網(wǎng)頁；

(3)對網(wǎng)頁進行預(yù)處理，根據(jù)DOM模型抽取的網(wǎng)頁內(nèi)容信息，采用TF/IDF算法計算特征項權(quán)重，來獲取更高的領(lǐng)域相關(guān)度，建立向量空間模型進行文本表示；具體操作包括：采用GBK網(wǎng)頁編碼方式，利用URL判重器去除以前出現(xiàn)的URL，消除HTML代碼中的不規(guī)范標記，噪聲過濾和除去網(wǎng)頁上非相關(guān)內(nèi)容，然后進行中文分詞，根據(jù)建立的停用詞表去除停用詞，并建立文檔向量；

(4)抽取的關(guān)鍵詞作為特征項，并生成屬性集，合并訓(xùn)練集中所有網(wǎng)頁的關(guān)鍵詞生成屬性集，該屬性集包含訓(xùn)練集中所有網(wǎng)頁的關(guān)鍵詞，并且去除了其中重復(fù)的，然后利用該屬性集對網(wǎng)頁進行分詞并建立文檔向量模型，在訓(xùn)練集上訓(xùn)練分類器進行分類，并在測試集上測試分類器性能；

(5)將標注信息點的網(wǎng)頁和分類器參數(shù)以及文檔向量設(shè)置參數(shù)存儲在訓(xùn)練樣本數(shù)據(jù)庫。

3.根據(jù)權(quán)利要求1所述的面向領(lǐng)域的網(wǎng)絡(luò)信息搜索方法，其特征在于網(wǎng)頁采集蜘蛛模塊和數(shù)據(jù)索引模塊的功能可以通過網(wǎng)頁采集蜘蛛模塊采集來的網(wǎng)頁，利用數(shù)據(jù)索引模塊建立索引，得到基于倒排表的全文索引庫，作為將來用戶的查詢檢索的數(shù)據(jù)庫，具體步驟如下：

(1)把領(lǐng)域?qū)＜姨峁┑木W(wǎng)站集作為蜘蛛搜索的起始網(wǎng)頁，并存放到初始爬行隊列中；蜘蛛讀取初始URL，然后開始采集網(wǎng)頁，并抽取其中新的URL存放到隊列中，根據(jù)蜘蛛設(shè)定的采集深度循環(huán)采集，直到觸發(fā)停止條件或者達到深度要求停止采集；

(2)采集條件的設(shè)定主要是通過搜索策略算法，根據(jù)鏈接分析和內(nèi)容分析雙重約束條件設(shè)定來增加相關(guān)性；在蜘蛛采集網(wǎng)頁時，首先根據(jù)鏈接分析進行預(yù)測，判定PAGERANK值高低，來對待定的URL排序，值高的網(wǎng)頁鏈接具有更高的優(yōu)先權(quán)，優(yōu)先下載這類的網(wǎng)頁；

(3)網(wǎng)頁預(yù)處理，根據(jù)DOM模型抽取的網(wǎng)頁內(nèi)容信息，采用TF/IDF算法提取特征項，來獲取更高的領(lǐng)域相關(guān)度；建立向量空間模型進行文本表示；具體操作包括：采用GBK網(wǎng)頁編碼方式，利用URL判重器去除以前出現(xiàn)的URL，消除HTML代碼中的不規(guī)范標記，噪聲過濾和除去網(wǎng)頁上非相關(guān)內(nèi)容，然后進行中文分詞，根據(jù)建立的停用詞表去除停用詞，并建立文檔向量；

(4)利用分類器模塊建立SVM分類模型，把抽取的關(guān)鍵詞作為特征項，對建立的文檔向量進行判別分類；根據(jù)分類結(jié)果進行領(lǐng)域主題相關(guān)性過濾；

(5)建立全文索引庫，構(gòu)建基于倒排表的全文索引庫，保存通過算法分類的領(lǐng)域相關(guān)度高的網(wǎng)頁。