[發(fā)明專利]網(wǎng)頁正文內(nèi)容提取方法及裝置

有效

• 申請?zhí)枺?/td>: 201110147583.7
• 申請日: 2011-06-02
• 公開（公告）號: CN102810097A
• 公開（公告）日: 2012-12-05
• 發(fā)明（設(shè)計）人: 朱海軍;姜吉發(fā)
• 申請（專利權(quán)）人: 高德軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭紅麗

1.一種網(wǎng)頁正文內(nèi)容提取方法，其特征在于，包括：

將需提取正文內(nèi)容的網(wǎng)頁劃分成各內(nèi)容塊；

針對劃分出的每個內(nèi)容塊分別執(zhí)行：

確定該內(nèi)容塊的鏈接文本長度及非鏈接文本長度；并

根據(jù)確定出的鏈接文本長度和非鏈接文本長度，確定該內(nèi)容塊對應(yīng)的鏈接文本密度；

在鏈接文本密度不大于預(yù)設(shè)的第一規(guī)定閾值時，確定該內(nèi)容塊為該網(wǎng)頁的正文內(nèi)容。

2.如權(quán)利要求1所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述將需提取正文內(nèi)容的網(wǎng)頁劃分成各內(nèi)容塊，具體包括：

對需提取正文內(nèi)容的網(wǎng)頁進(jìn)行規(guī)范化預(yù)處理；

獲得預(yù)處理后的網(wǎng)頁中的各容器標(biāo)簽對；

按照獲得的各容器標(biāo)簽對，將預(yù)處理后的網(wǎng)頁劃分成多個內(nèi)容塊。

3.如權(quán)利要求1所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述根據(jù)確定出的鏈接文本長度和非鏈接文本長度，確定該內(nèi)容塊對應(yīng)的鏈接文本密度，具體包括：

計算所述鏈接文本長度和非鏈接文本長度的比值；

根據(jù)所述比值確定該內(nèi)容塊對應(yīng)的鏈接文本密度。

4.如權(quán)利要求3所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述根據(jù)所述比值確定該內(nèi)容塊對應(yīng)的鏈接文本密度，具體包括：

將所述比值與懲罰因子相乘，得到該內(nèi)容塊對應(yīng)的鏈接文本密度。

5.如權(quán)利要求4所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述懲罰因子為該內(nèi)容塊所包含的鏈接的數(shù)量。

6.如權(quán)利要求1所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述確定該內(nèi)容塊為該網(wǎng)頁的正文內(nèi)容之后還包括：

判斷該內(nèi)容塊中是否嵌套有至少一個嵌套內(nèi)容塊；若判斷結(jié)果為否，則結(jié)束；

若判斷結(jié)果為是，則針對每個嵌套內(nèi)容塊分別執(zhí)行：

確定該嵌套內(nèi)容塊的鏈接文本長度及非鏈接文本長度；并

根據(jù)確定出的鏈接文本長度和非鏈接文本長度，確定該嵌套內(nèi)容塊對應(yīng)的鏈接文本密度；

在該嵌套內(nèi)容塊對應(yīng)的鏈接文本密度大于預(yù)設(shè)的第一規(guī)定閾值時，從正文內(nèi)容中刪除該嵌套內(nèi)容塊。

7.如權(quán)利要求1所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述針對劃分出的每個內(nèi)容塊分別執(zhí)行之前，還包括：

判斷該內(nèi)容塊中是否嵌套有至少一個嵌套內(nèi)容塊；若判斷結(jié)果為否，則執(zhí)行所述針對劃分出的每個內(nèi)容塊分別執(zhí)行的步驟；

若判斷結(jié)果為是，則針對每個嵌套內(nèi)容塊分別執(zhí)行：

確定該嵌套內(nèi)容塊的鏈接文本長度及非鏈接文本長度；并

根據(jù)確定出的鏈接文本長度和非鏈接文本長度，確定該嵌套內(nèi)容塊對應(yīng)的鏈接文本密度；

在該嵌套內(nèi)容塊對應(yīng)的鏈接文本密度大于預(yù)設(shè)的第一規(guī)定閾值時，確定該嵌套內(nèi)容塊為該網(wǎng)頁的非正文內(nèi)容；

將該內(nèi)容塊中除確定為非正文內(nèi)容的各嵌套內(nèi)容塊之外的內(nèi)容，重新作為該內(nèi)容塊。

8.如權(quán)利要求1所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述確定該內(nèi)容塊為該網(wǎng)頁的正文內(nèi)容之后還包括：

獲取所述正文內(nèi)容中的各標(biāo)簽，分別將相鄰兩個標(biāo)簽之間的內(nèi)容確定為內(nèi)容單元；

針對每個內(nèi)容單元，分別執(zhí)行：

將內(nèi)容單元與預(yù)設(shè)的內(nèi)容模板庫進(jìn)行匹配；

若匹配成功，則將所述內(nèi)容模板庫中相匹配的內(nèi)容模板的匹配頻度加1；

判斷所述匹配頻度是否大于預(yù)設(shè)的第二規(guī)定閾值，是則從正文內(nèi)容中刪除該內(nèi)容單元。

9.如權(quán)利要求8所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述將內(nèi)容單元與預(yù)設(shè)的內(nèi)容模板庫進(jìn)行匹配，具體包括：

在內(nèi)容模板庫中的各內(nèi)容模板中，查找與所述內(nèi)容單元的內(nèi)容一致的內(nèi)容模板，所述內(nèi)容模板為預(yù)先對至少一個網(wǎng)頁的內(nèi)容單元進(jìn)行匹配獲得；

若查找到，則匹配成功，否則匹配失敗。

10.如權(quán)利要求9所述的網(wǎng)頁正文內(nèi)容提取方法，其特征在于，所述在內(nèi)容模板庫中的各內(nèi)容模板中，查找與所述內(nèi)容單元的內(nèi)容一致的內(nèi)容模板之前，還包括：

判斷所述內(nèi)容模板庫中是否存儲有內(nèi)容模板；

若未存儲有內(nèi)容模板，則匹配失??；

若存儲有內(nèi)容模板，則執(zhí)行所述在內(nèi)容模板庫中的各內(nèi)容模板中，查找與所述內(nèi)容單元的內(nèi)容一致的內(nèi)容模板的操作。