[發(fā)明專利]網(wǎng)站正文提取的方法和裝置

有效

• 申請?zhí)枺?/td>: 201710084396.6
• 申請日: 2017-02-16
• 公開（公告）號: CN108446285B
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計(jì)）人: 曹志明
• 申請（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號: G06F16/957
• 分類號: G06F16/957
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 韓建偉;張永明

本發(fā)明公開了一種網(wǎng)站正文提取的方法和裝置。其中，該方法包括：從網(wǎng)站的每個網(wǎng)頁中提取節(jié)點(diǎn)信息；將節(jié)點(diǎn)信息確定為第一節(jié)點(diǎn)信息或第二節(jié)點(diǎn)信息，其中，第一節(jié)點(diǎn)信息為包含網(wǎng)頁正文文本的節(jié)點(diǎn)信息，第二節(jié)點(diǎn)信息為不包含網(wǎng)頁正文文本的節(jié)點(diǎn)信息；提取第一節(jié)點(diǎn)信息中的網(wǎng)頁正文文本；根據(jù)第一節(jié)點(diǎn)信息對目標(biāo)網(wǎng)頁重新提取符合預(yù)設(shè)條件的節(jié)點(diǎn)信息，其中，目標(biāo)網(wǎng)頁為提取出第二節(jié)點(diǎn)信息的網(wǎng)頁；將重新提取到的節(jié)點(diǎn)信息所包含的文本作為目標(biāo)網(wǎng)頁的網(wǎng)頁正文文本。本發(fā)明解決了網(wǎng)站正文信息提取不準(zhǔn)確的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)站信息提取領(lǐng)域，具體而言，涉及一種網(wǎng)站正文提取的方法和裝置。

背景技術(shù)

正文提取是指將網(wǎng)頁的正文部分提取出來，去除其他部分。在互聯(lián)網(wǎng)領(lǐng)域，正文提取是一種很常用而且很基本的需求。

從概率上來說，正文部分是一個網(wǎng)頁中文字?jǐn)?shù)量最多的區(qū)域。所以，一種常見正文提取方法就是針對網(wǎng)站源代碼進(jìn)行提取，找到純文本長度最長的子節(jié)點(diǎn)，此節(jié)點(diǎn)的內(nèi)容即為正文。比如下圖1所示，方框部分包含的文本內(nèi)容最長，因此將方框部分的內(nèi)容作為正文部分。

然而有時候，正文包含的文本內(nèi)容不是最多的，如：在論壇網(wǎng)站中，可能存在某條評論的文本內(nèi)容比正文內(nèi)容還多，此時利用上述的正文提取方法提取到的文本不是網(wǎng)頁的正文部分。

針對上述的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種網(wǎng)站正文提取的方法和裝置，以至少解決網(wǎng)站正文信息提取不準(zhǔn)確的技術(shù)問題。

根據(jù)本發(fā)明實(shí)施例的一個方面，提供了一種網(wǎng)站正文提取的方法，包括：從網(wǎng)站的每個網(wǎng)頁中提取節(jié)點(diǎn)信息；將所述節(jié)點(diǎn)信息確定為第一節(jié)點(diǎn)信息或第二節(jié)點(diǎn)信息，其中，所述第一節(jié)點(diǎn)信息為包含網(wǎng)頁正文文本的節(jié)點(diǎn)的信息，所述第二節(jié)點(diǎn)信息為不包含網(wǎng)頁正文文本的節(jié)點(diǎn)信息；提取所述第一節(jié)點(diǎn)信息中的網(wǎng)頁正文文本；根據(jù)所述第一節(jié)點(diǎn)信息對目標(biāo)網(wǎng)頁重新提取符合預(yù)設(shè)條件的節(jié)點(diǎn)信息，其中，所述目標(biāo)網(wǎng)頁為提取出所述第二節(jié)點(diǎn)信息的網(wǎng)頁；將重新提取到的節(jié)點(diǎn)信息所包含的文本作為所述目標(biāo)網(wǎng)頁的網(wǎng)頁正文文本。

進(jìn)一步地，根據(jù)所述第一節(jié)點(diǎn)信息對目標(biāo)網(wǎng)頁重新提取符合預(yù)設(shè)條件的節(jié)點(diǎn)信息包括：獲取所述目標(biāo)網(wǎng)頁中所有節(jié)點(diǎn)信息的屬性；從所述所有節(jié)點(diǎn)信息的屬性中查找與所述第一節(jié)點(diǎn)信息的屬性相同的節(jié)點(diǎn)信息。

進(jìn)一步地，將所述節(jié)點(diǎn)信息確定為第一節(jié)點(diǎn)信息或第二節(jié)點(diǎn)信息包括：獲取從所述網(wǎng)站的每個網(wǎng)頁中提取的節(jié)點(diǎn)信息的屬性；根據(jù)所述節(jié)點(diǎn)信息的屬性確定所述節(jié)點(diǎn)信息為第一節(jié)點(diǎn)信息或者第二節(jié)點(diǎn)信息，其中，所述節(jié)點(diǎn)信息的屬性包括ID信息。

進(jìn)一步地，從所述網(wǎng)站的每個網(wǎng)頁中提取節(jié)點(diǎn)信息包括：獲取每個所述網(wǎng)頁中所有節(jié)點(diǎn)信息所包含的文本；將包含的文本長度最長的節(jié)點(diǎn)信息作為從所述網(wǎng)頁中提取的節(jié)點(diǎn)信息。

進(jìn)一步地，將所述節(jié)點(diǎn)信息確定為第一節(jié)點(diǎn)信息或第二節(jié)點(diǎn)信息包括：將所述多個節(jié)點(diǎn)信息中具有相同ID信息的數(shù)量最多的節(jié)點(diǎn)信息作為所述第一節(jié)點(diǎn)信息；將所述多個節(jié)點(diǎn)信息中除所述第一節(jié)點(diǎn)信息以外的節(jié)點(diǎn)信息作為所述第二節(jié)點(diǎn)信息。

進(jìn)一步地，在根據(jù)所述第一節(jié)點(diǎn)信息對目標(biāo)網(wǎng)頁重新提取符合預(yù)設(shè)條件的節(jié)點(diǎn)信息之后，所述方法還包括：如果對目標(biāo)網(wǎng)頁無法重新提取出節(jié)點(diǎn)信息，則記錄所述目標(biāo)網(wǎng)頁的地址。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種網(wǎng)站正文提取的裝置，包括：第一提取單元，用于從網(wǎng)站的每個網(wǎng)頁中提取節(jié)點(diǎn)信息；確定單元，用于將所述節(jié)點(diǎn)信息確定為第一節(jié)點(diǎn)信息或第二節(jié)點(diǎn)信息，其中，所述第一節(jié)點(diǎn)信息為包含網(wǎng)頁正文文本的節(jié)點(diǎn)的信息，所述第二節(jié)點(diǎn)信息為不包含網(wǎng)頁正文文本的節(jié)點(diǎn)信息；第二提取單元，用于提取所述第一節(jié)點(diǎn)信息中的網(wǎng)頁正文文本；第三提取單元，用于根據(jù)所述第一節(jié)點(diǎn)信息對目標(biāo)網(wǎng)頁重新提取符合預(yù)設(shè)條件的節(jié)點(diǎn)信息，其中，所述目標(biāo)網(wǎng)頁為提取出所述第二節(jié)點(diǎn)信息的網(wǎng)頁；正文單元，用于將重新提取到的節(jié)點(diǎn)信息所包含的文本作為所述目標(biāo)網(wǎng)頁的網(wǎng)頁正文文本。