[發(fā)明專利]一種網(wǎng)頁(yè)內(nèi)容抽取的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711392836.0
• 申請(qǐng)日: 2017-12-14
• 公開(kāi)（公告）號(hào): CN108132919A
• 公開(kāi)（公告）日: 2018-06-08
• 發(fā)明（設(shè)計(jì)）人: 郭國(guó)慶;翟建強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 寧波升維信息技術(shù)有限公司
• 主分類號(hào): G06F17/22
• 分類號(hào): G06F17/22;G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)一種網(wǎng)頁(yè)內(nèi)容抽取的方法，涉及信息技術(shù)領(lǐng)域，可以在進(jìn)行網(wǎng)頁(yè)內(nèi)容抽取時(shí)，準(zhǔn)確抽取網(wǎng)頁(yè)標(biāo)題以及網(wǎng)頁(yè)中各個(gè)元素。本發(fā)明通過(guò)將HTML源碼轉(zhuǎn)換為對(duì)應(yīng)的文檔樹(shù)結(jié)構(gòu)，并根據(jù)文檔樹(shù)結(jié)構(gòu)的TITLE標(biāo)簽，確定網(wǎng)頁(yè)標(biāo)題；根據(jù)網(wǎng)頁(yè)標(biāo)題，確定網(wǎng)頁(yè)中的網(wǎng)頁(yè)元素，網(wǎng)頁(yè)元素至少包括網(wǎng)站LOGO、頁(yè)面導(dǎo)航、新聞發(fā)布時(shí)間、新聞來(lái)源；根據(jù)網(wǎng)頁(yè)標(biāo)題，以及文檔樹(shù)結(jié)構(gòu)的文本塊的密度和文字?jǐn)?shù)，確定各個(gè)文本塊的屬性；抽取所述網(wǎng)頁(yè)標(biāo)題、所述網(wǎng)頁(yè)元素以及所述網(wǎng)頁(yè)內(nèi)容為正文的正文文本塊，獲取網(wǎng)頁(yè)全文。本發(fā)明提供的方案適于進(jìn)行網(wǎng)頁(yè)內(nèi)容抽取時(shí)采用。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)頁(yè)內(nèi)容抽取的方法。

背景技術(shù)

通過(guò)SAX解析器將網(wǎng)頁(yè)源碼中表示文本區(qū)域的<P>標(biāo)簽、<Hn>標(biāo)簽、<a>標(biāo)簽、<DIV>標(biāo)簽等標(biāo)簽中的內(nèi)容解析為多個(gè)文本塊，并計(jì)算各個(gè)文本塊中的預(yù)設(shè)指標(biāo)，判斷此文本塊的內(nèi)容是否可以作為正文，其中，預(yù)設(shè)指標(biāo)可以包括單詞數(shù)、超鏈接密度等指標(biāo)。例如，當(dāng)前文本塊的鏈接密度小于等于0.333333，并且前一文本塊的鏈接密度小于等于0.555556，并且當(dāng)前文本塊的單詞數(shù)小于等于16，并且下一文本塊的單詞數(shù)小于等于14，并且前一文本塊的單詞數(shù)大于4時(shí)，當(dāng)前文本塊能作為正文；前面條件不變，最后一個(gè)條件為：前一文本塊的單詞數(shù)小于等于4時(shí)，當(dāng)前文本塊不能作為正文。

然而，當(dāng)采用現(xiàn)有技術(shù)進(jìn)行網(wǎng)頁(yè)內(nèi)容抽取時(shí)，網(wǎng)頁(yè)標(biāo)題抽取不準(zhǔn)確，網(wǎng)頁(yè)各個(gè)元素抽取不全面等問(wèn)題，導(dǎo)致網(wǎng)頁(yè)正文抽取不準(zhǔn)確。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施例提供一種網(wǎng)頁(yè)內(nèi)容抽取的方法，可以在進(jìn)行網(wǎng)頁(yè)內(nèi)容抽取時(shí)，準(zhǔn)確抽取網(wǎng)頁(yè)標(biāo)題以及網(wǎng)頁(yè)中各個(gè)元素。

本發(fā)明提供一種網(wǎng)頁(yè)內(nèi)容抽取的方法，包括：將HTML源碼轉(zhuǎn)換為對(duì)應(yīng)的文檔樹(shù)結(jié)構(gòu)，并根據(jù)所述文檔樹(shù)結(jié)構(gòu)的TITLE標(biāo)簽，確定網(wǎng)頁(yè)標(biāo)題；根據(jù)所述網(wǎng)頁(yè)標(biāo)題，確定網(wǎng)頁(yè)中的網(wǎng)頁(yè)元素，所述網(wǎng)頁(yè)元素至少包括網(wǎng)站LOGO、頁(yè)面導(dǎo)航、新聞發(fā)布時(shí)間、新聞來(lái)源；根據(jù)所述網(wǎng)頁(yè)標(biāo)題，以及所述文檔樹(shù)結(jié)構(gòu)的文本塊的密度和文字?jǐn)?shù)，確定各個(gè)文本塊的屬性，所述文本塊的屬性包括所述文本塊的網(wǎng)頁(yè)內(nèi)容為正文，或者所述文本塊的網(wǎng)頁(yè)內(nèi)容非正文；抽取所述網(wǎng)頁(yè)標(biāo)題、所述網(wǎng)頁(yè)元素以及所述網(wǎng)頁(yè)內(nèi)容為正文的正文文本塊，獲取網(wǎng)頁(yè)全文。

本發(fā)明實(shí)施例提供一種網(wǎng)頁(yè)內(nèi)容抽取的方法，通過(guò)將HTML源碼轉(zhuǎn)換為對(duì)應(yīng)的文檔樹(shù)結(jié)構(gòu)，并根據(jù)所述文檔樹(shù)結(jié)構(gòu)的TITLE標(biāo)簽，確定網(wǎng)頁(yè)標(biāo)題；根據(jù)所述網(wǎng)頁(yè)標(biāo)題，確定網(wǎng)頁(yè)中的網(wǎng)頁(yè)元素，所述網(wǎng)頁(yè)元素至少包括網(wǎng)站LOGO、頁(yè)面導(dǎo)航、新聞發(fā)布時(shí)間、新聞來(lái)源；根據(jù)所述網(wǎng)頁(yè)標(biāo)題，以及所述文檔樹(shù)結(jié)構(gòu)的文本塊的密度和文字?jǐn)?shù)，確定各個(gè)文本塊的屬性，所述文本塊的屬性包括所述文本塊的網(wǎng)頁(yè)內(nèi)容為正文，或者所述文本塊的網(wǎng)頁(yè)內(nèi)容非正文；抽取所述網(wǎng)頁(yè)標(biāo)題、所述網(wǎng)頁(yè)元素以及所述網(wǎng)頁(yè)內(nèi)容為正文的正文文本塊，獲取網(wǎng)頁(yè)全文。

與現(xiàn)有技術(shù)中進(jìn)行網(wǎng)頁(yè)內(nèi)容抽取時(shí)，網(wǎng)頁(yè)標(biāo)題抽取不準(zhǔn)確，網(wǎng)頁(yè)各個(gè)元素抽取不全面等問(wèn)題，導(dǎo)致網(wǎng)頁(yè)正文抽取不準(zhǔn)確相比，本發(fā)明實(shí)施例通過(guò)TITLE標(biāo)簽，確定網(wǎng)頁(yè)標(biāo)題，再根據(jù)網(wǎng)頁(yè)標(biāo)題確定網(wǎng)頁(yè)其他元素，例如網(wǎng)站LOGO、頁(yè)面導(dǎo)航、新聞發(fā)布時(shí)間、新聞來(lái)源等，使得在進(jìn)行網(wǎng)頁(yè)內(nèi)容抽取時(shí)，準(zhǔn)確抽取網(wǎng)頁(yè)標(biāo)題以及網(wǎng)頁(yè)中各個(gè)元素。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例提供的一種網(wǎng)頁(yè)內(nèi)容抽取的方法的流程圖；

圖2為本發(fā)明實(shí)施例提供的另一種網(wǎng)頁(yè)內(nèi)容抽取的方法的流程圖；

圖3為本發(fā)明實(shí)施例提供的一種確定當(dāng)前文本塊的網(wǎng)頁(yè)內(nèi)容為正文或者非正文的方法的流程圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。

本發(fā)明實(shí)施例提供一種網(wǎng)頁(yè)內(nèi)容抽取的方法，如圖1所示，該方法包括：