[發(fā)明專利]網(wǎng)頁(yè)正文的提取方法和裝置、網(wǎng)頁(yè)預(yù)覽方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310339555.4
• 申請(qǐng)日: 2013-08-06
• 公開（公告）號(hào): CN103425765A
• 公開（公告）日: 2013-12-04
• 發(fā)明（設(shè)計(jì)）人: 梁捷;趙闖
• 申請(qǐng)（專利權(quán)）人: 優(yōu)視科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及移動(dòng)通信技術(shù)領(lǐng)域，更為具體地，涉及網(wǎng)頁(yè)正文的提取方法和裝置、網(wǎng)頁(yè)預(yù)覽方法和系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的不斷發(fā)展，web網(wǎng)頁(yè)數(shù)量日益龐大，越來(lái)越多的人通過(guò)請(qǐng)求web網(wǎng)頁(yè)來(lái)獲取信息，但也存在不少的數(shù)據(jù)干擾，對(duì)web網(wǎng)頁(yè)的請(qǐng)求者造成訪問(wèn)障礙，而請(qǐng)求者真正想要有用的信息都在web網(wǎng)頁(yè)正文中，因此迫切需要一種提取web網(wǎng)頁(yè)正文技術(shù)，以幫助請(qǐng)求者有效獲取web網(wǎng)頁(yè)的正文數(shù)據(jù)。

傳統(tǒng)的網(wǎng)頁(yè)正文提取方法，需經(jīng)過(guò)瀏覽器內(nèi)核建立DOM（Document?Object?Model，文件對(duì)象模型）樹，通過(guò)JavaScript引擎進(jìn)行解析來(lái)抽取正文；其中一個(gè)典型的網(wǎng)頁(yè)正文提取過(guò)程大致如下：先找出網(wǎng)頁(yè)HTML文檔的特定標(biāo)簽項(xiàng)，利用該特定標(biāo)簽項(xiàng)將HTML文檔表示成一個(gè)DOM樹的結(jié)構(gòu)，然后通過(guò)JavaScript引擎進(jìn)行解析提取DOM樹中有效的樹節(jié)點(diǎn)數(shù)據(jù)來(lái)抽取正文，因此這種傳統(tǒng)的網(wǎng)頁(yè)正文提取速度非常慢。

發(fā)明內(nèi)容

鑒于上述傳統(tǒng)的網(wǎng)頁(yè)正文提取速度非常慢的問(wèn)題，本發(fā)明提出了一種網(wǎng)頁(yè)正文的提取方法和裝置，該方法及裝置可以快速提取網(wǎng)頁(yè)的正文內(nèi)容，降低對(duì)系統(tǒng)內(nèi)存的占用率。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種網(wǎng)頁(yè)正文的提取方法，包括以下步驟：

提取網(wǎng)頁(yè)主體塊的數(shù)據(jù)；

從所述網(wǎng)頁(yè)主體塊的數(shù)據(jù)中篩選與網(wǎng)頁(yè)正文相關(guān)的字符；

對(duì)所述與網(wǎng)頁(yè)正文相關(guān)的字符進(jìn)行去HTML標(biāo)簽處理和切割處理，獲取各行字符串?dāng)?shù)組；

從所述字符串?dāng)?shù)組的第一行開始按設(shè)定的行塊大小逐行掃描；

當(dāng)掃描到所述設(shè)定的行塊中的字符數(shù)大于或者等于設(shè)定的字?jǐn)?shù)閾值時(shí)，輸出所述設(shè)定的行塊中的字符。

根據(jù)本發(fā)明的另一個(gè)方面，提供了一種網(wǎng)頁(yè)正文的提取裝置，其包括：

提取單元，用于提取網(wǎng)頁(yè)主體塊的數(shù)據(jù)；

篩選單元，用于從所述網(wǎng)頁(yè)主體塊的數(shù)據(jù)中篩選與網(wǎng)頁(yè)正文相關(guān)的字符；

標(biāo)準(zhǔn)化處理單元，用于對(duì)所述與網(wǎng)頁(yè)正文相關(guān)的字符進(jìn)行去HTML標(biāo)簽處理和切割處理，獲取各行字符串?dāng)?shù)組；

掃描單元，用于從所述字符串?dāng)?shù)組的第一行開始按設(shè)定的行塊大小逐行掃描；

輸出單元，用于當(dāng)掃描到所述設(shè)定的行塊中的字符數(shù)大于或者等于設(shè)定的字?jǐn)?shù)閾值時(shí)，輸出所述設(shè)定的行塊中的字符。

利用上述方法及系統(tǒng)，在提取到網(wǎng)頁(yè)主體塊的數(shù)據(jù)后，先進(jìn)行字符篩選，將與網(wǎng)頁(yè)正文無(wú)關(guān)的字符過(guò)濾掉，得到與網(wǎng)頁(yè)正文相關(guān)的字符；在對(duì)與網(wǎng)頁(yè)相關(guān)的字符進(jìn)行切割處理和去HTML標(biāo)簽處理，得到各行字符串?dāng)?shù)組，從字符串?dāng)?shù)組的第一行開始按設(shè)定的行塊大小逐行掃描，當(dāng)行塊中的字符數(shù)大于或者等于預(yù)設(shè)的字?jǐn)?shù)閾值時(shí)，輸出行塊中的字符；并不需要建立DOM樹，也不需要JavaScript引擎進(jìn)行解析來(lái)抽取正文；正文提取速度明顯提高，也降低了系統(tǒng)的內(nèi)存占用率。

本發(fā)明的另一方面，提出一種網(wǎng)頁(yè)預(yù)覽方法和系統(tǒng)，可以提高網(wǎng)頁(yè)顯示的速度，減少請(qǐng)求網(wǎng)頁(yè)時(shí)的等待時(shí)間。

本發(fā)明提出一種網(wǎng)頁(yè)預(yù)覽方法，包括步驟：

當(dāng)接收到網(wǎng)頁(yè)預(yù)覽請(qǐng)求消息時(shí)，對(duì)根據(jù)網(wǎng)頁(yè)鏈接請(qǐng)求返回的網(wǎng)頁(yè)主文檔進(jìn)行解碼，獲取網(wǎng)頁(yè)主文檔字符串；

利用如權(quán)利要求1所述的網(wǎng)頁(yè)正文的提取方法從所述網(wǎng)頁(yè)主文檔字符串中提取網(wǎng)頁(yè)正文；

將所述網(wǎng)頁(yè)正文進(jìn)行顯示格式處理后顯示。

本發(fā)明還提出一種網(wǎng)頁(yè)預(yù)覽系統(tǒng)，包括：

解碼裝置，用于當(dāng)接收到網(wǎng)頁(yè)預(yù)覽請(qǐng)求消息時(shí)，對(duì)根據(jù)網(wǎng)頁(yè)鏈接請(qǐng)求返回的網(wǎng)頁(yè)主文檔進(jìn)行解碼，獲取網(wǎng)頁(yè)主文檔字符串；

如權(quán)利要求6所述的網(wǎng)頁(yè)正文的提取裝置，用于從所述網(wǎng)頁(yè)主文檔字符串中提取網(wǎng)頁(yè)正文；

顯示裝置，將所述網(wǎng)頁(yè)正文進(jìn)行顯示格式處理后顯示。

采用上述網(wǎng)頁(yè)預(yù)覽的方法和系統(tǒng)，對(duì)根據(jù)網(wǎng)頁(yè)預(yù)覽請(qǐng)求返回的網(wǎng)頁(yè)主文檔進(jìn)行解碼，獲取網(wǎng)頁(yè)主文檔字符串，然后利用本發(fā)明提出的網(wǎng)頁(yè)正文提取技術(shù)，可以提高網(wǎng)頁(yè)正文的提取速度，因此，可以提高網(wǎng)頁(yè)顯示的速度，減少請(qǐng)求網(wǎng)頁(yè)時(shí)的等待時(shí)間。

為了實(shí)現(xiàn)上述以及相關(guān)目的，本發(fā)明的一個(gè)或多個(gè)方面包括后面將詳細(xì)說(shuō)明并在權(quán)利要求中特別指出的特征。下面的說(shuō)明以及附圖詳細(xì)說(shuō)明了本發(fā)明的某些示例性方面。然而，這些方面指示的僅僅是可使用本發(fā)明的原理的各種方式中的一些方式。此外，本發(fā)明旨在包括所有這些方面以及它們的等同物。

附圖說(shuō)明

根據(jù)下述參照附圖進(jìn)行的詳細(xì)描述，本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)將變得更加顯而易見。在附圖中：

圖1示出了本發(fā)明方法的一個(gè)流程圖；