[發明專利]一種基于配置信息匹配及相似度提取網頁信息的方法

在審

• 申請號: 201711346436.6
• 申請日: 2017-12-15
• 公開（公告）號: CN108052619A
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 尚保林;王明興;徐曉松
• 申請（專利權）人: 北京海致星圖科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于配置信息匹配及相似度提取網頁信息的方法，提出了基于配置信息文本匹配及相似度計算實現的未知網頁表格信息提取方法，利用新穎技術手段實現對未知網頁表格細粒度的解析，通過自定義配置文件，獲取用戶想要的信息以及屏蔽不想要的信息，通過任意配置的外部文件，實現通用表格解析；提取網頁中的最小表格，通過利用現今自然語言處理領域的文本間匹配以及相似度計算方式，抽取目標信息、棄丟無效信息，直接通過文本計算的方式實現信息獲取，優于傳統技術只能處理標準表格的方案，實現了對多種特殊表格的處理。

技術領域

本發明涉及查詢方法技術領域，尤其涉及一種基于配置信息匹配及相似度提取網頁信息的方法。

背景技術

知識圖譜與圖數據挖掘中經常需要挖掘滿足給定結構的所有子圖，這個問題通常稱之為子圖同構、子圖匹配或子圖查詢。當前的子圖匹配算法多是基于單機的，效率比較低，不能使用多臺機器并行處理，能力有限，難以處理大規模數據。

發明內容

本發明的目的就在于為了解決上述問題而提供一種基于配置信息匹配及相似度提取網頁信息的方法。

本發明通過以下技術方案來實現上述目的：

本發明包括以下步驟：

S1：用戶自定義與表格解析過程相關的配置文件；

S2：順序讀取未知網頁URL，查詢數據庫中是否已存在相關配置文件以及網頁URL，若存在，直接讀取數據；若不存在，存儲其網頁源碼，利用JAVA中的Jsoup包將源碼解析為Document對象；

S3：從根節點處深度遞歸遍歷所有含table標簽的表格，尋找所有非重復最小表格；

S4：遍歷表格的第一行、第一列字段分別保存，獲取配置文件中用戶給出的字段列表，通過投票機制確定該表格屬性為橫向或者縱向。得到所有表格屬性并保存；

S5：將每個最小表格作為處理單位，將標簽table作為根節點root；

S6：若該表格為縱向表格，獲取root第一個非空子節點的標簽rowspan值，此值為表頭所占行數，根據表頭所占行數，獲取所有表頭字段propertyStr；

S7：遍歷表頭節點的所有非空兄弟節點，遍歷每一個兄弟節點的非空子節點，并記錄每一個兄弟節點子節點的個數，將數值取為最大的子節點個數；