[發(fā)明專利]一種文本提取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410026939.5
• 申請(qǐng)日: 2014-01-21
• 公開（公告）號(hào): CN103810251B
• 公開（公告）日: 2017-05-10
• 發(fā)明（設(shè)計(jì)）人: 卜湛;伍之昂;曹杰;李秀怡;劉英卓
• 申請(qǐng)（專利權(quán)）人: 南京財(cái)經(jīng)大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所11309
• 代理人: 陳霽

1.一種文本提取方法，其特征在于，所述方法包括：

步驟一、預(yù)處理給定的網(wǎng)頁(yè)的超文本傳輸協(xié)議html源碼，以獲取所述源碼中的文本的字符串序列，所述字符串序列包含N個(gè)文本行；

步驟二、提取所述字符串序列中每個(gè)文本行的特征元素，所述特征元素包含M個(gè)屬性；

步驟三、依據(jù)第一關(guān)聯(lián)規(guī)則，確定所述字符串序列中的潛在正文行組成的潛在正文塊，所示第一關(guān)聯(lián)規(guī)則由所述特征元素中的所述M個(gè)屬性確定；

步驟四、根據(jù)滑動(dòng)窗口方法，對(duì)所述潛在正文塊進(jìn)行分割，獲取次級(jí)潛在正文塊；

所述步驟四之后，還包括：

獲取每個(gè)所述次級(jí)潛在正文塊包含的信息量；

根據(jù)所述次級(jí)潛在正文塊的信息量，確定所述潛在正文塊中的信息塊；

其中，所述獲取每個(gè)所述次級(jí)潛在正文塊包含的信息量，具體包括：

$Score\left(B_k\right)=\frac{\underset{{\mathrm{Start}}_k\≤i\≤{\mathrm{End}}_k}{\Σ}Score\left(p_i\right)=\left|T_i\right|+\left|O_i\right|+\left|D_i\right|-\left|L_i\right|-\left|I_i\right|}{{\mathrm{End}}_k-{\mathrm{Start}}_k+1}$

其中，p_i為次級(jí)潛在正文塊中的第i個(gè)文本行，T_i為第i個(gè)文本行在所述html源碼中所包含的字節(jié)數(shù)TextLength，O_i為第i個(gè)文本行在所述網(wǎng)頁(yè)中出現(xiàn)的字節(jié)數(shù)OutputTextLength,D_i為第i個(gè)文本行的相對(duì)密度Density，所述相對(duì)密度Density為所述文本行在所述網(wǎng)頁(yè)中出現(xiàn)的字節(jié)數(shù)和在所述html源碼中出現(xiàn)的字節(jié)數(shù)的比值，L_i為第i個(gè)文本行包含的超鏈接數(shù)LinkNum,I_i為該文本行包含的圖片超鏈接數(shù)和ImgNum，B_k表示第k個(gè)次級(jí)潛在正文塊，Start_k為該次級(jí)潛在正文塊的起始位置，End_k為其結(jié)束位置,Score(B_k)表示正文塊B_k包含的信息量。

2.如權(quán)利要求1所述的方法，其特征在于，在根據(jù)所述次級(jí)潛在正文塊的信息量，確定所述潛在正文塊中的信息塊；之后，還包括：

對(duì)所述信息塊進(jìn)行合并，確定最終提取文本。