[發明專利]一種網頁正文的識別處理方法及裝置

在審

• 申請號: 201910945459.1
• 申請日: 2019-09-30
• 公開（公告）號: CN110795933A
• 公開（公告）日: 2020-02-14
• 發明（設計）人: 禹慶華;葉盛;李凱;沈鵬;李國輝
• 申請（專利權）人: 奇安信科技集團股份有限公司;網神信息技術(北京)股份有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F40/163;G06F40/131
• 代理公司: 11002 北京路浩知識產權代理有限公司
• 代理人: 馬瑞

1.一種網頁正文的識別處理方法，其特征在于，包括：

獲取待識別網頁的網頁源碼，清除所述網頁源碼中所有的網頁標簽，得到包括空白行的網頁文本；

根據空白行對所述網頁文本進行分塊，得到若干個文字區塊，各文字區塊之間為空白行；

統計各文字區塊的文字數量，根據各文字區塊的文字數量確定網頁正文的邊界，并根據網頁正文的邊界識別所述待識別網頁中的網頁正文。

2.根據權利要求1所述的網頁正文的識別處理方法，其特征在于，所述根據各文字區塊的文字數量確定網頁正文的邊界，具體包括：

根據當前文字區塊的文字數量與上一個文字區塊的文字數量，計算得到當前文字區塊與上一個文字區塊的文字數量差值；

若所述文字數量差值大于閾值，則確定當前文字區塊的起始位置或上一個文字區塊的結束位置為網頁正文的邊界。

3.根據權利要求2所述的網頁正文的識別處理方法，其特征在于，所述若所述文字數量差值大于閾值，則確定當前文字區塊的起始位置或上一個文字區塊的結束位置為網頁正文的邊界，具體包括：

若所述文字數量差值為正數，則確定當前文字區塊的起始位置為網頁正文的開始邊界；

若所述文字數量差值為負數，則確定上一個文字區塊的結束位置為網頁正文的結束邊界。

4.根據權利要求3所述的網頁正文的識別處理方法，其特征在于，所述根據網頁正文的邊界識別所述待識別網頁中的網頁正文，具體包括：

將每個網頁正文的開始邊界與下一個結束邊界之間的文字識別為正文部分；

將所有正文部分進行合并，得到所述待識別網頁中的網頁正文。

5.根據權利要求3所述的網頁正文的識別處理方法，其特征在于，所述網頁正文的識別處理方法還包括：

若判斷網頁正文的開始邊界和結束邊界的數量相等，且開始邊界和結束邊界間隔出現，則確定網頁正文的開始邊界和結束邊界識別正確。

6.根據權利要求2所述的網頁正文的識別處理方法，其特征在于，所述閾值根據空白區塊的平均數量或文字區塊的平均數量確定；

其中，所述空白區塊的平均數量為每個空白區塊的字符數量的平均值；

所述文字區塊的平均數量為每個文字區塊的文字數量的平均值。

7.根據權利要求1所述的網頁正文的識別處理方法，其特征在于，所述獲取待識別網頁的網頁源碼，清除所述網頁源碼中所有的網頁標簽，得到包括空白行的網頁文本，具體包括：

通過網絡爬蟲爬取待識別網頁的網頁源碼，根據預設標簽識別所述網頁源碼中所有的網頁標簽并清除，得到包括空白行的網頁文本。

8.一種網頁正文的識別處理裝置，其特征在于，包括：

標簽清除模塊，用于獲取待識別網頁的網頁源碼，清除所述網頁源碼中所有的網頁標簽，得到包括空白行的網頁文本；

文本分塊模塊，用于根據空白行對所述網頁文本進行分塊，得到若干個文字區塊，各文字區塊之間為空白行；

邊界確定模塊，用于統計各文字區塊的文字數量，根據各文字區塊的文字數量確定網頁正文的邊界，并根據網頁正文的邊界識別所述待識別網頁中的網頁正文。

9.根據權利要求8所述的網頁正文的識別處理裝置，其特征在于，所述邊界確定模塊具體用于：

根據當前文字區塊的文字數量與上一個文字區塊的文字數量，計算得到當前文字區塊與上一個文字區塊的文字數量差值；

若所述文字數量差值大于閾值，則確定當前文字區塊的起始位置或上一個文字區塊的結束位置為網頁正文的邊界。

10.根據權利要求9所述的網頁正文的識別處理裝置，其特征在于，所述邊界確定模塊具體用于：

若所述文字數量差值為正數，則確定當前文字區塊的起始位置為網頁正文的開始邊界；

若所述文字數量差值為負數，則確定上一個文字區塊的結束位置為網頁正文的結束邊界。