[發明專利]基于集成搜索引擎的數據發現方法

在審

• 申請號: 201710432848.5
• 申請日: 2017-06-09
• 公開（公告）號: CN107133366A
• 公開（公告）日: 2017-09-05
• 發明（設計）人: 張鵬
• 申請（專利權）人: 成都布林特信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京天奇智新知識產權代理有限公司11340
• 代理人: 楊春

1.一種基于集成搜索引擎的數據發現方法，其特征在于，包括：

網絡爬蟲首先讀取程序配置文件，并預加載緩存采集時要用到的數據；事務管理器根據配置信息，初始化各個事務，并控制事務的運行；事務獲取處理任務，先進行爬取鏈接去重檢查，分析爬取鏈接的類型，對不同的采集類型執行不同的處理方式，在采集時，分析是新的采集事務還是更新任務，并在獲取到鏈接的網頁源碼后，對采集到的網頁源碼執行清洗、過濾，根據網頁信息相關特征規律提取出有效信息；事務對提取出的信息進行轉換處理，進行緩存；當緩存待保存數據達到一定數量時，事務執行緩存數據入庫處理；同時事務管理器定時監控各個事務的執行狀態，對異常事務進行控制管理。

2.根據權利要求1所述的方法，其特征在于，進一步包括：

采用多層緩存結構，根據計算機的內存大小對各層緩存大小進行配置；

首先對全局爬取進行緩存；在對爬取數據庫的訪問連接過程中，采用一次性獲取批量爬取結果進行緩存；

其次采用單個事務自身的爬取緩存，每個事務各自擁有一個采集數據源緩存區域；

然后對事務在處理過程中的產生的數據進行緩存，包括在鏈接去重檢查時，緩存訪問過的網頁、媒體鏈接地址；

最后一層緩存是緩存待保存的數據，當待保存的數據達到一定數量以后，事務才對數據進行入庫保存。

3.根據權利要求1所述的方法，其特征在于，進一步包括：

在爬取之前，根據域名生成規則依次遍歷所有可能的組合域名，對組合域名進行依次檢測，識別有效域名與無效域名，建立根域名庫；然后獲取導航站點的網頁源碼，根據根域名組成規則從網頁源碼中提取根站點地址與鏈接文本，更新根域名庫。

4.根據權利要求1所述的方法，其特征在于，進一步包括：

對于頁面重復鏈接，為每個事務部署專門的去重容器，每個容器只存儲自己已經訪問過的鏈接地址的映射碼；去重容器只記錄自己訪問過在同一個根域名站點下的鏈接，對不屬于此根域名下的網頁地址進行丟棄處理；

當事務開始采集另一個根站點信息時，清空去重容器的歷史訪問記錄，重新記錄新的根站點訪問記錄；將信息采集器爬取站點的深度設置閾值，每個事務運行時，實際去重容器所占的內存通過爬取站點深度的閾值來控制。