[發明專利]一種用于半封閉數據環境下的數據搜索的方法和裝置

有效

• 申請號: 201510205529.1
• 申請日: 2013-04-01
• 公開（公告）號: CN104866532B
• 公開（公告）日: 2019-08-23
• 發明（設計）人: 張士益
• 申請（專利權）人: 錢咸升（北京）網絡科技有限公司
• 主分類號: G06F16/9537
• 分類號: G06F16/9537
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

本發明涉及一種用于半封閉數據環境下的數據搜索的方法和裝置，包括：構建一個客戶端瀏覽器，通過該瀏覽器，使用預設登錄信息登錄訪問所述半封閉數據環境的網絡訪問地址；所述客戶端瀏覽器在登錄成功后對所述半封閉數據環境中的預設網頁地址進行訪問，并獲取從所述半封閉數據環境的服務器返回的對應網頁的數據文件；根據預設的與所述網頁相對應的數據位置信息，從所述數據文件中將相應位置的數據提取出來。本發明可以無需建立特殊接口即可實現對半封閉數據環境的自動搜索，將其中所需要的數據準確的提取出來，從而提高了數據搜索效率、擴大了數據搜索范圍，同時也提高了數據搜索結果的準確性。

技術領域

本發明涉及數據搜索領域，尤其涉及一種用于半封閉數據環境下的數據搜索的方法和裝置。

背景技術

搜索引擎是根據一定的策略，運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理后，為用戶提供檢索服務，將用戶檢索的相關信息展示給用戶。

在現有技術中，搜索引擎的工作過程是利用“蜘蛛”系統(或爬蟲技術)，自動訪問互聯網中的網頁，讀取該網頁中的文字內容，并找到該網頁中的包含的其他鏈接地址，并沿著該鏈接地址訪問爬行到其他網頁，“蜘蛛”系統在互聯網中不斷重復這種爬行過程，并把所爬行過的所有網頁數據收集回來。

現有的“蜘蛛”系統首先會從初始網址庫中選取一個網站地址，一般是那些大型門戶網站，從這些初始網址出發，蜘蛛會訪問并下載對應的網頁內容存儲到數據庫中，并將其中的文字提取出來進行分詞后存入索引庫中，同時，蜘蛛系統再提取出該網頁內容中存在的其他網址鏈接，然后重復上述過程。由于一個網站中的各個網頁之間存在著上下層級的鏈接關系，而且也可能存在著其他網站的地址鏈接，因此，利用蜘蛛系統，不僅可以很快將一個網站的全部網頁都訪問一遍，而且還可以利用那些其他網站地址鏈接爬行到新的網站，并獲取新網站的網頁內容。

但是，從上述描述可知，現有的搜索引擎利用的“蜘蛛”系統所收集的網頁數據均為公開性的網頁數據，對于處于半封閉數據環境下的數據并不能進行收集。例如，對于一些會員制的論壇網站、微博網站、個人網銀系統等半封閉數據環境，特別是需要授權或驗證機制的數據環境，是無法接受類似于“蜘蛛”系統這樣的外部訪問的，實際上，這些網站的地址鏈接也很少有機會出現在公開性的網頁上，即使有，在被蜘蛛系統獲取并訪問后，由于沒有訪問權限，其返回的結果也是無法打開網頁，無法進行后續的爬行來獲取數據。

然而，在這些半封閉數據環境下的數據并不是完全的隱私數據，但現有的搜索引擎由于技術上的原因并不能自動的為普通公眾用戶獲取到這些數據。即便是有訪問權限的用戶，也無法自動的準確的獲得感興趣的數據。實際上，現有的搜索引擎如果要獲取這些半封閉數據環境下的數據，必須通過單獨與這些數據環境建立特定的數據開放接口才可以進行訪問獲取。這是非常不經濟的，而且如果對方不同意建立開放接口，那么現有的搜索引擎就無法有效的獲取到這些數據。

發明內容

針對上述問題，本發明的主要目的在于提供一種用于半封閉數據環境下的數據搜索的方法和裝置，以解決現有技術存在的搜索引擎不能搜索半封閉數據環境中的有用數據的問題。

為了解決上述技術問題，本發明的目的是通過以下技術方案實現的：

本發明提供了一種用于半封閉數據環境下的數據搜索方法，包括以下步驟：構建一個客戶端瀏覽器，通過該瀏覽器，使用預設登錄信息登錄訪問所述半封閉數據環境的網絡訪問地址；所述客戶端瀏覽器在登錄成功后對所述半封閉數據環境中的預設網頁地址進行訪問，并獲取從所述半封閉數據環境的服務器返回的對應網頁的數據文件；根據預設的與所述網頁相對應的數據位置信息，從所述數據文件中將相應位置的數據提取出來。