[發(fā)明專利]數(shù)據(jù)搜索方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710976409.0
• 申請(qǐng)日: 2017-10-19
• 公開(kāi)（公告）號(hào): CN108052517A
• 公開(kāi)（公告）日: 2018-05-18
• 發(fā)明（設(shè)計(jì)）人: 沈文策
• 申請(qǐng)（專利權(quán)）人: 福建中金在線信息科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 宋南

1.一種數(shù)據(jù)搜索方法，其特征在于，包括：

獲取目標(biāo)網(wǎng)站中每個(gè)網(wǎng)頁(yè)的請(qǐng)求鏈接；

采用線程池技術(shù)對(duì)每個(gè)所述請(qǐng)求鏈接所對(duì)應(yīng)的網(wǎng)頁(yè)進(jìn)行離線訪問(wèn)，得到每個(gè)所述網(wǎng)頁(yè)的目標(biāo)內(nèi)容；

對(duì)所有目標(biāo)內(nèi)容進(jìn)行分析，得到目標(biāo)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)搜索方法，其特征在于，所述獲取目標(biāo)網(wǎng)站中每個(gè)網(wǎng)頁(yè)的請(qǐng)求鏈接包括：

分析所述網(wǎng)頁(yè)的頁(yè)面結(jié)構(gòu)，得到所述目標(biāo)內(nèi)容的標(biāo)簽格式信息；

根據(jù)所述標(biāo)簽格式信息得到所述請(qǐng)求鏈接。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)搜索方法，其特征在于，所述采用線程池技術(shù)對(duì)每個(gè)所述請(qǐng)求鏈接所對(duì)應(yīng)的網(wǎng)頁(yè)進(jìn)行訪問(wèn)，得到每個(gè)所述網(wǎng)頁(yè)的目標(biāo)內(nèi)容包括：

采用線程池技術(shù)，通過(guò)Jsoup對(duì)每個(gè)所述請(qǐng)求鏈接所對(duì)應(yīng)的網(wǎng)頁(yè)進(jìn)行訪問(wèn)，得到每個(gè)所述網(wǎng)頁(yè)的目標(biāo)內(nèi)容。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)搜索方法，其特征在于，所述目標(biāo)數(shù)據(jù)包括多個(gè)主題內(nèi)容，所述對(duì)所有目標(biāo)內(nèi)容進(jìn)行分析，得到目標(biāo)數(shù)據(jù)包括：

將所述所有目標(biāo)內(nèi)容中的主題內(nèi)容進(jìn)行統(tǒng)計(jì)，得到多個(gè)主題內(nèi)容。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)搜索方法，其特征在于，還包括：

建立所述目標(biāo)網(wǎng)站與所述目標(biāo)數(shù)據(jù)的對(duì)應(yīng)關(guān)系表；

將所述對(duì)應(yīng)關(guān)系表保存在數(shù)據(jù)庫(kù)中。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)搜索方法，其特征在于，還包括：

分析所述目標(biāo)網(wǎng)站的首頁(yè)頁(yè)面結(jié)構(gòu)，得到所述目標(biāo)網(wǎng)站的主題內(nèi)容的數(shù)目以及網(wǎng)頁(yè)頁(yè)數(shù)；

根據(jù)所述主題內(nèi)容的數(shù)目以及所述網(wǎng)頁(yè)頁(yè)數(shù)計(jì)算網(wǎng)頁(yè)訪問(wèn)時(shí)間。

7.根據(jù)權(quán)利要求5所述的數(shù)據(jù)搜索方法，其特征在于，還包括：

創(chuàng)建所述數(shù)據(jù)庫(kù)所對(duì)應(yīng)的搜索接口，根據(jù)所述搜索接口獲取所述對(duì)應(yīng)關(guān)系表。

8.根據(jù)權(quán)利要求1所述的數(shù)據(jù)搜索方法，其特征在于，還包括：

將每個(gè)所述網(wǎng)頁(yè)的所述請(qǐng)求鏈接以及所述目標(biāo)內(nèi)容分別進(jìn)行記錄，并保存到數(shù)據(jù)庫(kù)。

9.一種數(shù)據(jù)搜索系統(tǒng)，其特征在于，包括：

獲取模塊，用于獲取目標(biāo)網(wǎng)站中每個(gè)網(wǎng)頁(yè)的請(qǐng)求鏈接；

訪問(wèn)模塊，用于采用線程池技術(shù)對(duì)每個(gè)所述請(qǐng)求鏈接所對(duì)應(yīng)的網(wǎng)頁(yè)進(jìn)行訪問(wèn)，得到每個(gè)所述網(wǎng)頁(yè)的目標(biāo)內(nèi)容；

分析模塊，用于對(duì)所有目標(biāo)內(nèi)容進(jìn)行分析，得到目標(biāo)數(shù)據(jù)。

10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)搜索系統(tǒng)，其特征在于，所述獲取模塊包括：

分析單元，用于分析所述網(wǎng)頁(yè)的頁(yè)面結(jié)構(gòu)，得到所述目標(biāo)內(nèi)容的標(biāo)簽格式信息；

獲取單元，用于根據(jù)所述標(biāo)簽格式信息得到所述請(qǐng)求鏈接。