[發明專利]一種網頁中非正文文本的識別系統及方法

有效

• 申請號: 201210214385.2
• 申請日: 2012-06-25
• 公開（公告）號: CN102779172A
• 公開（公告）日: 2012-11-14
• 發明（設計）人: 王志剛
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

技術領域

本發明涉及正文抽取技術領域，特別涉及一種網頁中非正文文本的識別系統及方法。

背景技術

正文抽取在搜索引擎、移動閱讀等領域有著越來越重要的作用。正文抽取常用的技術有基于規則、基于DOM（Document?Object?Model，文檔對象模型）樹、基于標記窗、基于最大文本塊等。這些方法都需要對網站中的非正文文本，比如廣告、網站聲明等，進行排除。如圖1a所示是一段網站聲明的代碼段示意圖，圖1b是圖1a中代碼段在網頁中的實際展示效果圖，這種網站聲明在網頁中非常常見，對于用戶閱讀價值不大，都需要在正文抽取時進行排除。然而，如何有效地識別這些非正文文本，是一個難題。

現有技術中主要采用垃圾關鍵詞密度的方法進行非正文文本識別。在基于垃圾關鍵詞識別非正文文本時，需要有垃圾關鍵詞構成的詞典，并且不斷對詞典進行更新。對于詞典的更新，只有在發現問題后才能加入新的垃圾關鍵詞。因此，這種方法對于問題的解決具有嚴重的滯后性，而且當面對全互聯網的海量數據時，這種滯后性顯的更加突出。

發明內容

本發明要解決的技術問題是：如何提供一種網頁中非正文文本的識別系統及方法，以克服現有方法對于非正文文本識別的滯后問題。

為解決上述技術問題，本發明提供一種網頁中非正文文本的識別系統，所述系統包括：網頁抓取器、DOM樹構建單元、DOM樹分析單元、文本統計單元和文本識別單元；

所述網頁抓取器適于抓取目標網站的所有網頁的數據；

所述DOM樹構建單元，適于構建目標網站的每個網頁對應的DOM樹；

所述DOM樹分析單元，適于根據所述DOM樹找出所述網頁中的單元文本段；

所述文本統計單元，適于統計所述單元文本段在所述目標網站的所有網頁中的出現次數；

所述文本識別單元，適于在所述出現次數大于預定閾值時，將所述單元文本段識別為非正文文本。

其中，所述DOM樹構建單元采用網頁語言對應的解析器。

其中，所述DOM樹分析單元包括：節點訪問模塊和文本段劃分模塊；

所述節點訪問模塊，適于從所述DOM樹的根節點開始，依次訪問所述DOM樹中的節點，并將訪問到的當前節點發送給所述文本段劃分模塊；以及適于判斷所述DOM樹中是否還有需要訪問的節點，如果是，將相應的節點作為新的當前節點發送給所述文本段劃分模塊；

所述文本段劃分模塊，適于判斷當前節點對應的文本段是否滿足單元文本段的條件，并且在滿足條件時，將所述當前節點對應的文本段作為單元文本段，并且通知所述節點訪問模塊停止對所述當前節點的后代節點的訪問。

其中，所述節點訪問模塊，適于從所述DOM樹的根節點開始，按照廣度優先算法依次訪問所述DOM樹中的節點，并將訪問到的當前節點發送給所述文本段劃分模塊；以及適于判斷所述DOM樹中是否還有需要訪問的當前節點的同層節點或者下層節點，如果是，將相應的同層節點或者下層節點作為新的當前節點發送給所述文本段劃分模塊。

其中，當所述當前節點到其后代節點的最長路徑小于等于預定長度，并且所述當前節點的后代節點中不包含復雜節點時，認為所述當前節點對應的文本段滿足單元文本段的條件。

其中，所述復雜節點包括：標簽table、tr、td、ul、ol、frame、select、input、marquee和/或map對應的節點。

其中，所述文本統計單元包括：哈希運算模塊和統計模塊；

所述哈希運算模塊，適于對所述單元文本段進行哈希運算，得到結果鍵值；

所述統計模塊，適于根據所述結果鍵值統計所述單元文本段在所述目標網站的所有網頁中的出現次數。

其中，所述文本識別單元，還適于在所述出現次數小于等于所述預定閾值時，將所述單元文本段識別為正文文本。

本發明還提供一種網頁中非正文文本的識別方法，其包括步驟：

A：使用網頁抓取器抓取目標網站的所有網頁的數據；

B：構建目標網站的每個網頁對應的DOM樹；

C：根據所述DOM樹找出所述網頁中的單元文本段；

D：統計所述單元文本段在所述目標網站的所有網頁中的出現次數；

E：根據所述出現次數，判斷所述單元文本段是否是非正文文本。

其中，所述步驟B中，采用網頁語言對應的解析器構建目標網站的每個網頁對應的DOM樹。

其中，所述步驟C中具體包括步驟：

C1：從所述DOM樹的根節點開始，依次訪問所述DOM樹中的節點；