[發(fā)明專利]網(wǎng)絡(luò)信息搜索與分類服務(wù)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201110242394.8
• 申請(qǐng)日: 2011-08-23
• 公開（公告）號(hào): CN102955791A
• 公開（公告）日: 2013-03-06
• 發(fā)明（設(shè)計(jì)）人: 丁力
• 申請(qǐng)（專利權(quán)）人: 句容今太科技園有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明屬于信息處理領(lǐng)域，尤其涉及網(wǎng)絡(luò)信息搜索與分類服務(wù)系統(tǒng)。

背景技術(shù)

隨著信息技術(shù)的發(fā)展，尤其是網(wǎng)絡(luò)應(yīng)用的普及，人們已經(jīng)從信息缺乏的時(shí)代過(guò)渡到信息極為豐富的時(shí)代。如何從大量信息中迅速有效地提取出所需信息以及如何對(duì)網(wǎng)絡(luò)信息進(jìn)行深層加工處理和信息提取已經(jīng)成為人們迫切解決的問題。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種網(wǎng)絡(luò)信息搜索與分類服務(wù)系統(tǒng)，該系統(tǒng)包括以下模塊：信息抓取模塊，網(wǎng)頁(yè)內(nèi)容抽取模塊，預(yù)料庫(kù)維護(hù)模塊，詞典管理模塊，機(jī)器學(xué)習(xí)模塊以及文檔分類模塊；

所述的信息抓取模塊，其用于下載用戶選擇的網(wǎng)站或網(wǎng)頁(yè)；

所述的網(wǎng)頁(yè)內(nèi)容抽取模塊，其用于將上述網(wǎng)絡(luò)信息抓取模塊下載下來(lái)的網(wǎng)頁(yè)抽取成純文本；

所述的語(yǔ)料庫(kù)維護(hù)模塊，其用于管理用于算法學(xué)習(xí)和特征提取的各個(gè)領(lǐng)域的訓(xùn)練文檔集；

所述的詞典管理模塊，其用于維護(hù)用于詞條切分和詞頻統(tǒng)計(jì)的主詞典和同義詞典；

所述的機(jī)器學(xué)習(xí)模塊，其用于對(duì)訓(xùn)練文檔進(jìn)行詞條切分和詞頻統(tǒng)計(jì)，并根據(jù)詞頻分布提取出代表文檔類的特征項(xiàng)集及相應(yīng)權(quán)值，生成相應(yīng)的類模型；

所述文檔分類模塊，其用于根據(jù)詞頻分布，提取出待分類文檔的代表向量，并計(jì)算各文檔類特征向量的相似度，符合一定的閾值條件則將其歸屬到相應(yīng)的類別中。

本發(fā)明發(fā)明的網(wǎng)絡(luò)信息搜索與分類服務(wù)系統(tǒng)能從大量信息中迅速有效地提取所需信息，并對(duì)其進(jìn)行分類，為人們搜索信息資源提供了更精確化和人性化的服務(wù)。

附圖說(shuō)明

圖1為本發(fā)明提供的網(wǎng)絡(luò)信息搜索與分類服務(wù)系統(tǒng)的模塊示意圖。

具體實(shí)施方式

本發(fā)明發(fā)明的網(wǎng)絡(luò)信息搜索與分類服務(wù)系統(tǒng)的模塊示意圖如圖1所示，包括以下模塊：

信息抓取模塊，網(wǎng)頁(yè)內(nèi)容抽取模塊，預(yù)料庫(kù)維護(hù)模塊，詞典管理模塊，機(jī)器學(xué)習(xí)模塊以及文檔分類模塊；

所述的信息抓取模塊，其用于下載用戶選擇的網(wǎng)站或網(wǎng)頁(yè)；還用于網(wǎng)站的下載深度、下載文件的存放路徑的基本設(shè)置以及文件過(guò)濾和服務(wù)器過(guò)濾的過(guò)濾設(shè)置，網(wǎng)頁(yè)下載后按照網(wǎng)頁(yè)的深度按層存放；

所述的網(wǎng)頁(yè)內(nèi)容抽取模塊，其用于將上述網(wǎng)絡(luò)信息抓取模塊下載下來(lái)的網(wǎng)頁(yè)抽取成純文本；用于網(wǎng)頁(yè)抽取成文本后的存放目錄和要處理的網(wǎng)頁(yè)的目錄的目錄設(shè)置以及抽取網(wǎng)頁(yè)正文的P和T閾值的設(shè)置，所述P表示table節(jié)點(diǎn)中的中文字符數(shù)的最小值的一個(gè)取值標(biāo)準(zhǔn)，所述T表示table節(jié)點(diǎn)中去掉HTML標(biāo)記所含的中文字符與全部中文字符的個(gè)數(shù)的比值的一個(gè)取值標(biāo)準(zhǔn)。

所述的語(yǔ)料庫(kù)維護(hù)模塊，其用于管理用于算法學(xué)習(xí)和特征提取的各個(gè)領(lǐng)域的訓(xùn)練文檔集；還用于不同領(lǐng)域的訓(xùn)練文檔集的保存設(shè)置以及語(yǔ)料庫(kù)初始化和語(yǔ)料庫(kù)的維護(hù)；

詞典管理模塊，其用于維護(hù)用于詞條切分和詞頻統(tǒng)計(jì)的主詞典和同義詞典；還用于詞典的建立和詞條的添加、刪除和修改。

機(jī)器學(xué)習(xí)模塊，其用于對(duì)訓(xùn)練文檔進(jìn)行詞條切分和詞頻統(tǒng)計(jì)，并根據(jù)詞頻分布提取出代表文檔類的特征項(xiàng)集及相應(yīng)權(quán)值，生成相應(yīng)的類模型；

文檔分類模塊，其用于根據(jù)詞頻分布，提取出待分類文檔的代表向量，并計(jì)算各文檔類特征向量的相似度，符合一定的閾值條件則將其歸屬到相應(yīng)的類別中；操作方式分為自動(dòng)執(zhí)行和手動(dòng)執(zhí)行兩種，所述的自動(dòng)執(zhí)行是指根據(jù)系統(tǒng)設(shè)置，定時(shí)對(duì)輸入目錄中的帶分類文檔進(jìn)行批量分類處理；所述的手動(dòng)執(zhí)行是指需要用戶選定待分類文檔，逐一處理。