[發(fā)明專利]一種WEB信息抽取方法

無效

• 申請?zhí)枺?/td>: 201210490141.7
• 申請日: 2012-11-27
• 公開（公告）號(hào): CN103020170A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 宗競
• 申請（專利權(quán)）人: 江蘇樂買到網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 蘇州威世朋知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32235
• 代理人: 楊林潔

1.一種WEB信息抽取方法，該方法基于語義標(biāo)記，包括正文抽取方法和評論抽取方法，其特征在于：所述正文提取方法分成以下步驟實(shí)現(xiàn)：

第一步，設(shè)從線性序列的頭開始順序遍歷，遇到第一個(gè)F2評論屬性的語義標(biāo)記停止，則最后一個(gè)F2正文屬性的語義標(biāo)記節(jié)點(diǎn)的位置為POSlast，第一個(gè)具有F3評論屬性的語義標(biāo)記節(jié)點(diǎn)的位置為POS_first；

第二步，將頁面線性序列中0..POS_first-1的子序列設(shè)為初始正文區(qū)，在該區(qū)域內(nèi)選擇一個(gè)信息量最大的文本塊作為正文內(nèi)容，設(shè)該正文內(nèi)容節(jié)點(diǎn)對應(yīng)的位置為POS_article；

第三步，將調(diào)整后的正文區(qū)序列區(qū)間的終止位置設(shè)置為POS_last=max(POS_last，POS_article)；

第四步，評論區(qū)序列區(qū)間的起始位置設(shè)置為POS_first=max(POS_last，POS_article)+1，從而完成正文區(qū)和評論區(qū)的切分；

其中，F(xiàn)2是表示正文結(jié)束特征的語義標(biāo)記,F3是表示評論開始特征的語義標(biāo)記。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于還包括所述評論抽取方法具體包括步驟：

(1)多條評論的抽取模型，確定評論區(qū)后，評論區(qū)內(nèi)線性序列的語法模型就簡化為F3*?(F3*C_RF3*)*F4，該模式反映評論區(qū)的多條評論具有周期性重復(fù)的特征；

(2)評論抽取方法，依據(jù)上面OneReview的初始區(qū)間確定和起始位置計(jì)算的思想，已經(jīng)可以確定一條評論回復(fù)序列的完整區(qū)間模式，進(jìn)而就可以利用這個(gè)模式序列去識(shí)別評論區(qū)的所有其他評論；

其中F1是說明正文開始特征的語義標(biāo)記，?F4是表示評論結(jié)束特征的語義標(biāo)記，C_T為正文內(nèi)容，C_R為每個(gè)評論回復(fù)的內(nèi)容。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于還包括所述多條評論的抽取模型的提取過程分為兩個(gè)步驟；

首先在評論區(qū)序列ReviewList中選擇出現(xiàn)次數(shù)最多的語義標(biāo)記對應(yīng)的位置序列，則相鄰兩個(gè)位置Pos_i和Pos_i+1之間就確定了一個(gè)完整評論回復(fù)包含的所有節(jié)點(diǎn)信息，只是評論信息的起點(diǎn)不一定是所選的語義標(biāo)記，將Pos_i..Pos_i+1-1序列區(qū)間稱為OneReview，即單條評論區(qū)間；

其次，選定OneReview后，需要沿ReviewList從OneReview的起始位置向前逐一回溯語義標(biāo)記，如果回溯的語義標(biāo)記與OneReview區(qū)間內(nèi)的最后一個(gè)語義標(biāo)記相同，則將OneReview區(qū)間的起點(diǎn)和終點(diǎn)均前移一個(gè)位置，如此循環(huán)，直到到達(dá)評論區(qū)起始點(diǎn)或者回溯的語義標(biāo)記與OneReview區(qū)間內(nèi)的最后一個(gè)語義標(biāo)記不同為止，此時(shí)的OneReview就是起點(diǎn)正確的評論回復(fù)區(qū)間。