[發明專利]數據搜索方法和系統

在審

• 申請號: 201710976409.0
• 申請日: 2017-10-19
• 公開（公告）號: CN108052517A
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 沈文策
• 申請（專利權）人: 福建中金在線信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 宋南

本發明提供了數據搜索方法和系統，涉及數據搜索技術領域，該方法包括：獲取目標網站中每個網頁的請求鏈接；采用線程池技術對每個請求鏈接所對應的網頁進行離線訪問，得到每個網頁的目標內容；對所有目標內容進行分析，得到目標數據。本發明可以對網站的所有數據進行搜索，從而獲取到有價值的信息，并采用離線搜索大大提高檢索速度。

技術領域

本發明涉及數據搜索技術領域，尤其是數據搜索方法和系統。

背景技術

網站通常具有非常龐大的數據，因此對這些數據進行爬取和收集，進而分析，可以挖掘到許多有價值的信息。但是目前的搜索引擎的搜索功能并不全面，只能出現最近一段時間的結果，大量歷史數據無法挖掘到，同時，搜索結果顯示并不全面，從而獲取不到有價值的信息。并且因為在線搜索使得檢索速度較慢。

發明內容

有鑒于此，本發明的目的在于提供數據搜索方法和系統，可以對網站的所有數據進行搜索，從而獲取到有價值的信息，并采用離線搜索大大提高檢索速度。

第一方面，本發明實施例提供了數據搜索方法，包括：

獲取目標網站中每個網頁的請求鏈接；

采用線程池技術對每個所述請求鏈接所對應的網頁進行離線訪問，得到每個所述網頁的目標內容；

對所有所述目標內容進行分析，得到目標數據。

結合第一方面，本發明實施例提供了第一方面的第一種可能的實施方式，其中，所述獲取目標網站中每個網頁的請求鏈接包括：

分析所述網頁的頁面結構，得到所述目標內容的標簽格式信息；

根據所述標簽格式信息得到所述請求鏈接。

結合第一方面，本發明實施例提供了第一方面的第二種可能的實施方式，其中，所述采用線程池技術對每個所述請求鏈接所對應的網頁進行訪問，得到每個所述網頁的目標內容包括：

采用線程池技術，通過Jsoup對每個所述請求鏈接所對應的網頁進行訪問，得到每個所述網頁的目標內容。

結合第一方面，本發明實施例提供了第一方面的第三種可能的實施方式，其中，所述目標數據包括多個主題內容，所述對所有目標內容進行分析，得到目標數據包括：

將所述所有目標內容中的主題內容進行統計，得到多個主題內容。

結合第一方面，本發明實施例提供了第一方面的第四種可能的實施方式，其中，還包括：

建立所述目標網站與所述目標數據的對應關系表；

將所述對應關系表保存在數據庫中。

結合第一方面，本發明實施例提供了第一方面的第五種可能的實施方式，其中，還包括：

分析所述目標網站的首頁頁面結構，得到所述目標網站的主題內容的數目以及網頁頁數；

根據所述主題內容的數目以及所述網頁頁數計算網頁訪問時間。

結合第一方面，本發明實施例提供了第一方面的第六種可能的實施方式，其中，還包括：

創建所述數據庫所對應的搜索接口，根據所述搜索接口獲取所述對應關系表。

結合第一方面，本發明實施例提供了第一方面的第七種可能的實施方式，其中，包括：

將每個所述網頁的所述請求鏈接以及所述目標內容分別進行記錄，并保存到數據庫。

第二方面，本發明實施例還提供數據搜索系統，包括：

獲取模塊，用于獲取目標網站中每個網頁的請求鏈接；