[發明專利]一種Web深網查詢接口檢測方法

有效

• 申請號: 201810971193.3
• 申請日: 2018-08-24
• 公開（公告）號: CN109086450B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 于富財;涂軼文;章俊;費高雷
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/958;G06F8/72
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

本發明公開了一種Web深網查詢接口檢測方法，包括以下步驟：S1、輸入網頁URL鏈接地址；S2、進行網頁渲染，通過布局渲染引擎，將HTML可視標簽的顯示方式轉化為盒模型；S3、進行布局分塊；S4、進行分塊剪枝；S5、進行分塊重構；S6、輸出交互接口。本發明主要利用了網頁數據的布局和樣式特征，對網頁數據進行區域分塊，并通過制定相應的處理規則，最終實現網頁交互接口的定位；本發明提出了一種組合接口結構特征和文本特征的改進方法，改進了單方面依賴結構特征進行分類，而導致分類準確率不高或適應性不強的問題。在實驗測試中，網頁交互接口定位方法達到了很高的定位正確性，而改進的接口分類特征集則達到了較高的分類效果。

技術領域

本發明涉及一種Web深網查詢接口檢測方法。

背景技術

隨著互聯網的飛速發展，互聯網已經和人們的日常生活息息相關。而為了滿足人們日益增長的生活需要，互聯網也得到了強勁的發展動力，呈現出越來越多的網絡信息。據2003年的網絡規模研究報告顯示：網絡中存在超過20億GB的數據，而且處于持續快速增長的態勢。如何有效發掘并利用這些Web信息，是互聯網數據挖掘的重要課題。

根據互聯網數據的獲取難度，可以將網頁信息劃分為兩大類：淺網(Surface Web)和深網(Deep Web,Invisible Web)。Surface Web是指通過傳統搜索引擎能夠檢索到的那部分Web信息，這部分Web信息通常是靜態的，并且常以超鏈接的形式鑲嵌在其它Web頁面中。深網信息主要指傳統搜索引擎不能發現和檢索的那部分網頁信息。通常來說，深網信息主要包括了以下四個方面：第一，存在于站點頁面后臺數據庫(Web Database,WDB)中的信息。這類信息必須通過填寫查詢表單，并向站點頁面提交特定查詢后，由站點后臺動態生成；第二，缺乏超鏈接指向的Web頁面。由于缺乏超鏈接指向，故而傳統搜索引擎不能夠索引到，這類Web頁面據統計大約占整個比例的21.3％；第三，被限制訪問的內容。這類Web頁面可能由于各種政策的規定不能訪問，或者需要用戶注冊權限才能訪問；第四，Web中無法訪問的非網頁文件。主要包含圖片文件、PDF文件以及Word文檔等。

按照獲取深網信息方式的不同，可以將深網數據挖掘可以分為兩種形式：

(1)深網數據集成。這種方式主要應用到數據集成的相關技術。

深網數據集成主要分為三個主要階段：WDB查詢接口集成階段，WDB查詢提交階段以及WDB查詢結果處理階段。WDB查詢接口集成階段：通過改進的傳統網絡爬蟲，發現并獲取WDB查詢接口，接著對查詢接口進行理解并提取模式信息，并對來自同一領域不同的WDB查詢接口模式進行匹配，集成同一領域的統一的集成查詢接口。WDB查詢提交階段：網絡用戶通過填寫這個集成的查詢接口，后臺選擇待查詢的WDB，并將填寫的查詢條件轉換為對應WDB的查詢條件，然后分別向選擇的WDB提交定向查詢。WDB查詢結果處理階段：對返回的WDB查詢結果頁面進行分析，提取出結構化的后臺數據，并對查詢結果信息進行語義標注，最后對所有的WDB查詢結果進行去重整合，返回最終結果給網絡用戶，完成本次深網數據查詢。深網數據集成是一個面向領域的抽取方式，整個流程中用戶只需要通過填寫一個集成的查詢接口，便可以查詢同一領域的多個數據庫。

(2)淺表化深網信息。這種發掘深網信息的方式主要利用了傳統搜索引擎的基礎設施。淺表化深網信息和深網集成方式的主要不同是：淺表化方式填寫查詢接口表單是自動的，不需要人工的參與；淺表化是預先提交查詢，并得到查詢結果，而后同傳統搜索引擎類似的，將查詢結果索引到靜態的HTML頁面上。