[發明專利]網頁分割方法、裝置及電子設備

有效

• 申請號: 201710450838.4
• 申請日: 2017-06-15
• 公開（公告）號: CN107273491B
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 童名文;樂惠驍;夏瑩;陳敏;周闖
• 申請（專利權）人: 華中師范大學
• 主分類號: G06F16/957
• 分類號: G06F16/957
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 宋南

1.一種網頁分割方法，其特征在于，所述方法包括：

對獲取到的待分割網頁對應的第一HTML文檔進行規范化處理，以符合W3C的標準，獲得規范化后的第二HTML文檔；

基于所述第二HTML文檔以及預設的行深度計算規則，獲取所述第二HTML文檔對應的以行號為索引的行深度表；所述預設的行深度計算規則為：起始深度為0，遇到一個成對的Html標簽中的前標簽，深度加1；遇到一個成對的Html標簽中的后標簽，深度減1；遇到單個Html標簽中的‘’，深度加1，遇到單個Html標簽中的“/”，深度減1；

獲取所述第二HTML文檔中標題內容，建立以行號為索引的標題表；

基于去除所述第二HTML文檔中所有標簽后的文本信息及預設的行塊定義規則，獲得所述文本信息對應的多個行塊，再計算所述多個行塊各自對應的行塊長度，以建立行塊分布函數；所述預設的行塊定義規則為：以去除所述第二HTML文檔中所有標簽后的文本信息中的行號為軸，取其下方N行，定義為一個行塊；

基于所述行塊分布函數及所述以行號為索引的標題表，獲取多個標題塊；

基于所述多個標題塊、所述以行號為索引的行深度表及預設的合并塊規則，對所述第一HTML文檔進行合并塊處理，以實現對所述獲取到的待分割網頁進行分割，重新組織成為新的網頁；所述預設的合并塊規則包括第一合并規則和第二合并規則，所述第一合并規則為：從塊分布的起始開始向下遍歷，若整個第一HTML文檔中的第一個塊不是標題塊，則從第一個塊開始向下合并，直到遇到第一個標題塊為止，所述第一個標題塊之前的所有正文塊合并為一個內容塊；若第一個塊為標題塊，則順序向下遍歷，直到遇到下一個標題塊，所述下一個標題塊的塊深度小于上一個正文塊或標題塊，將所述第一個塊到所述下一個標題塊的前一個塊之間的所有塊合并為一個內容塊；

所述第二合并規則為：遍歷整個第一HTML文檔的塊，若第一個塊為標題塊，則順序向下遍歷，直到遇到第一個內容塊為止，將所述第一個塊到所述第一個內容塊的前一個塊之間的所有塊合并為一個內容塊，再從第一個內容塊開始向下遍歷，直至結束。

2.根據權利要求1所述的方法，其特征在于，所述基于所述第二HTML文檔以及預設的行深度計算規則，獲取所述第二HTML文檔對應的以行號為索引的行深度表，包括：

根據所述預設的行深度計算規則，從文件頭開始按行依次遍歷所述第二HTML文檔，獲得所述第二HTML文檔對應的以行號為索引的行深度表。

3.根據權利要求1所述的方法，其特征在于，所述獲取所述第二HTML文檔中標題內容，建立以行號為索引的標題表，包括：

獲取所述第二HTML文檔中h標簽對之間的標題內容，建立以行號為索引的標題表。

4.根據權利要求1所述的方法，其特征在于，所述多個標題塊包括第一行塊，所述第一行塊屬于所述多個行塊且滿足預設條件，所述預設條件為：以第一行塊為中心，上下三個塊之內有標題塊；且所述第一行塊對應的HTML正文信息字數小于等于M，M為常數。

5.根據權利要求1所述的方法，其特征在于，所述基于去除所述第二HTML文檔中所有標簽后的文本信息及預設的行塊定義規則，獲得所述文本信息對應的多個行塊，再計算所述多個行塊各自對應的行塊長度，以建立行塊分布函數，包括：

以去除所述第二HTML文檔中所有標簽后的文本信息中的行號為軸，取其下方N行，定義為行塊；

計算去掉所述行塊中的所有空白符后的字符總數，將計算結果作為所述行塊的行塊長度；

重復以上步驟，獲得所述文本信息對應的多個行塊和所述多個行塊各自對應的行塊長度；

以所述文本信息中的行號為自變量，所述多個行塊各自對應的行塊長度為因變量，建立行塊分布函數。