[發(fā)明專利]一種Web論壇信息抽取系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 200910227300.2
• 申請(qǐng)日: 2009-12-04
• 公開（公告）號(hào): CN101727486A
• 公開（公告）日: 2010-06-09
• 發(fā)明（設(shè)計(jì)）人: 李弼程;王允;林琛;郭志剛;閻紅燦
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍信息工程大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種Web論壇信息抽取系統(tǒng)，其特征在于，該系統(tǒng)包括如下模塊：

網(wǎng)頁(yè)采集模塊，用于根據(jù)用戶指定的論壇站點(diǎn)和相應(yīng)的版塊自動(dòng)下載論壇網(wǎng)頁(yè)；

網(wǎng)頁(yè)解析模塊，用于對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行清洗，形成網(wǎng)頁(yè)的文檔對(duì)象模型以便信息抽取算法的實(shí)施；

在線抽取模塊，用于根據(jù)論壇網(wǎng)頁(yè)的布局結(jié)構(gòu)特點(diǎn)對(duì)網(wǎng)頁(yè)中的指定信息進(jìn)行抽取；

數(shù)據(jù)庫(kù)存儲(chǔ)模塊，用于將所抽取的內(nèi)容存儲(chǔ)在數(shù)據(jù)庫(kù)系統(tǒng)中以便進(jìn)行其它的應(yīng)用。

2.根據(jù)權(quán)利要求1所述的Web論壇信息抽取系統(tǒng)，其特征在于，所述網(wǎng)頁(yè)采集模塊包括以下單元：

網(wǎng)頁(yè)獲取單元，該單元向HTTP服務(wù)器發(fā)送請(qǐng)求，讀取返回的內(nèi)容；

鏈接獲取單元，該單元從下載到的網(wǎng)頁(yè)中分析提取出待下載的網(wǎng)頁(yè)的URL；

下載隊(duì)列管理單元，該單元根據(jù)一定的策略從下載URL隊(duì)列中取出下一個(gè)要下載的URL。

3.根據(jù)權(quán)利要求1所述的Web論壇信息抽取系統(tǒng)，其特征在于，所述網(wǎng)頁(yè)解析模塊進(jìn)一步用于所述網(wǎng)頁(yè)采集模塊中的鏈接獲取單元，鏈接分析提取是基于網(wǎng)頁(yè)的DOM樹進(jìn)行的。

4.根據(jù)權(quán)利要求1所述的Web論壇信息抽取系統(tǒng)，其特征在于，所述在線抽取模塊包括以下單元：

網(wǎng)頁(yè)主題信息塊發(fā)現(xiàn)單元，該單元從網(wǎng)頁(yè)中確定包含待抽取信息的塊狀區(qū)域，對(duì)網(wǎng)頁(yè)噪聲進(jìn)行初步過(guò)濾；

信息抽取單元，該單元對(duì)主題信息塊中的網(wǎng)頁(yè)噪聲進(jìn)行進(jìn)一步的過(guò)濾，再?gòu)闹谐槿〕鲋付ǖ男畔ⅰ?/p>

5.根據(jù)權(quán)利要求1所述的Web論壇信息抽取系統(tǒng)，其特征在于，所述數(shù)據(jù)庫(kù)存儲(chǔ)模塊包括以下單元：

信息識(shí)別單元，該單元用于確定抽取出的信息是否已存在于數(shù)據(jù)庫(kù)中，進(jìn)一步確定是否要進(jìn)行插入記錄操作或是更新記錄操作或是空操作；

信息保存單元，該單元將抽取出的信息插入或更新至數(shù)據(jù)庫(kù)。