[發明專利]網頁分割方法、裝置及電子設備

有效

• 申請號: 201710450838.4
• 申請日: 2017-06-15
• 公開（公告）號: CN107273491B
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 童名文;樂惠驍;夏瑩;陳敏;周闖
• 申請（專利權）人: 華中師范大學
• 主分類號: G06F16/957
• 分類號: G06F16/957
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 宋南

本發明提供的一種網頁分割方法、裝置及電子設備，涉及網頁分割技術領域。對第一HTML文檔進行規范化處理，獲得規范化后的第二HTML文檔；基于第二HTML文檔以及預設的行深度計算規則，獲取以行號為索引的行深度表；獲取第二HTML文檔中標題內容，建立以行號為索引的標題表；然后基于去除第二HTML文檔中所有標簽后的文本信息及預設的行塊定義規則，獲得文本信息對應的多個行塊，再計算多個行塊各自對應的行塊長度，以建立行塊分布函數；基于行塊分布函數及以行號為索引的標題表，獲取多個標題塊；基于多個標題塊、以行號為索引的行深度表及預設的合并塊規則，對第一HTML文檔進行合并塊處理，減少時間復雜度和空間復雜度。

技術領域

本發明涉及網頁分割技術領域，具體而言，涉及一種網頁分割方法、裝置及電子設備。

背景技術

目前提出了很多網頁分割算法，例如微軟亞洲研究院提出了一種基于視覺特征的網頁分割方法(VIPS)首先將整個網頁表示成一棵DOM樹，根據顏色大小等網頁版面特征，利用橫豎線條將DOM樹節點所對應的分塊在網頁中分隔開來，構成網頁的標準分塊。每個節點通過一致度(DOC)來衡量它與其他節點的語義相關性，從而將相關的分塊聚集在一起；利用預先設定的一致度(PDOC)作為閾值控制分割粒度，當所有網頁的DOC都不小于PDOC時，網頁分割就可以停止。再如基于文檔對象模型(DOM)的分割方法：DOM樹建樹和查找節點中的信息將花費大量時間，而且由于部分網頁沒有遵循標準W3C的規范，這樣可能會導致DOM樹的建樹錯誤，因此這一類算法也有很大的局限性。現有的網頁分割算法需要考慮大量的網頁內容和視覺信息，都需要構建DOM樹，在DOM樹的基礎上執行網頁分割的算法，時間復雜度較大。

發明內容

有鑒于此，本發明實施例的目的在于提供一種網頁分割方法、裝置及電子設備，以改善上述問題。為了實現上述目的，本發明實施例采取的技術方案如下：

第一方面，本發明實施例提供了一種網頁分割方法，所述方法包括對獲取到的待分割網頁對應的第一HTML文檔進行規范化處理，獲得規范化后的第二HTML文檔；基于所述第二HTML文檔以及預設的行深度計算規則，獲取所述第二HTML文檔對應的以行號為索引的行深度表；獲取所述第二HTML文檔中標題內容，建立以行號為索引的標題表；基于去除所述第二HTML文檔中所有標簽后的文本信息及預設的行塊定義規則，獲得所述文本信息對應的多個行塊，再計算所述多個行塊各自對應的行塊長度，以建立行塊分布函數；基于所述行塊分布函數及所述以行號為索引的標題表，獲取多個標題塊；基于所述多個標題塊、所述以行號為索引的行深度表及預設的合并塊規則，對所述第一HTML文檔進行合并塊處理，以實現對所述獲取到的待分割網頁進行分割，重新組織成為新的網頁。

第二方面，本發明實施例提供了一種網頁分割裝置，所述裝置包括規范化處理單元、行深度表獲得單元、標題表建立單元、行塊分布函數建立單元、標題塊獲得單元和合并單元。規范化處理單元，用于對獲取到的待分割網頁對應的第一HTML文檔進行規范化處理，獲得規范化后的第二HTML文檔。行深度表獲得單元，用于基于所述第二HTML文檔以及預設的行深度計算規則，獲取所述第二HTML文檔對應的以行號為索引的行深度表。標題表建立單元，用于獲取所述第二HTML文檔中標題內容，建立以行號為索引的標題表。行塊分布函數建立單元，用于基于去除所述第二HTML文檔中所有標簽后的文本信息及預設的行塊定義規則，獲得所述文本信息對應的多個行塊，再計算所述多個行塊各自對應的行塊長度，以建立行塊分布函數。標題塊獲得單元，用于基于所述行塊分布函數及所述以行號為索引的標題表，獲取多個標題塊。合并單元，用于基于所述多個標題塊、所述以行號為索引的行深度表及預設的合并塊規則，對所述第一HTML文檔進行合并塊處理，以實現對所述獲取到的待分割網頁進行分割，重新組織成為新的網頁。