[發(fā)明專利]適用于專利公開科技數(shù)據(jù)庫的信息抓取方法

在審

• 申請?zhí)枺?/td>: 201710378243.2
• 申請日: 2017-05-24
• 公開（公告）號: CN107122495A
• 公開（公告）日: 2017-09-01
• 發(fā)明（設(shè)計(jì)）人: 孫婭;羅亞利
• 申請（專利權(quán)）人: 蘇州唯亞信息科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F21/60;G06F21/62
• 代理公司: 蘇州唯亞智冠知識產(chǎn)權(quán)代理有限公司32289
• 代理人: 宋秀麗

1.適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：

設(shè)定獨(dú)立的抓取模塊，根據(jù)網(wǎng)段的不同設(shè)定抓取協(xié)議；

銜接專利公開數(shù)據(jù)庫的對外數(shù)據(jù)端口，按照設(shè)定關(guān)鍵詞進(jìn)行抓?。?/p>

檢索后的數(shù)據(jù)文件首先在抓取服務(wù)器中進(jìn)行存儲；

所述抓取服務(wù)器內(nèi)的數(shù)據(jù)文件進(jìn)行過濾后，進(jìn)行解析；

解析后的數(shù)據(jù)存入終端服務(wù)器并通過發(fā)布裝置進(jìn)行發(fā)布。

2.根據(jù)權(quán)利要求1所述的適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：所述抓取模塊為網(wǎng)絡(luò)爬蟲模塊，所述網(wǎng)絡(luò)爬蟲模塊設(shè)有獨(dú)立的抓取關(guān)鍵詞管理庫，通過設(shè)定時(shí)間段進(jìn)行數(shù)據(jù)抓取。

3.根據(jù)權(quán)利要求2所述的適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：所述設(shè)定時(shí)間為網(wǎng)絡(luò)爬蟲模塊依據(jù)帶寬負(fù)荷，在低于擁堵閾值時(shí)，進(jìn)行抓取。

4.根據(jù)權(quán)利要求1所述的適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：所述抓取協(xié)議為，抓取模塊根據(jù)針對的內(nèi)網(wǎng)、外網(wǎng)的帶寬、數(shù)據(jù)傳輸效率、驗(yàn)證方式、原始數(shù)據(jù)格式，判斷采用文本文件導(dǎo)出，或是html格式文件導(dǎo)出，或是圖片格式文件導(dǎo)出，或是PDF格式文件導(dǎo)出。

5.根據(jù)權(quán)利要求1所述的適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：所述過濾過程為，搜尋數(shù)據(jù)文件內(nèi)的無效內(nèi)容，刪除無效內(nèi)容后進(jìn)行邏輯判斷，若影響邏輯表達(dá)，則保留無效內(nèi)容，且對無效內(nèi)容進(jìn)行標(biāo)注，若不影響邏輯表達(dá)，則確認(rèn)刪除。

6.根據(jù)權(quán)利要求1所述的適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：所述無效內(nèi)容包括，驗(yàn)證碼、格式符標(biāo)注、無效代碼嵌入、亂碼嵌入。

7.根據(jù)權(quán)利要求1所述的適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：所述抓取過程中，設(shè)定抓取范圍，包括標(biāo)題、摘要、專利全文、說明書、權(quán)利要求書、說明書附圖、著錄項(xiàng)目信息。

8.根據(jù)權(quán)利要求1所述的適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：所述終端服務(wù)器對解析后的數(shù)據(jù)進(jìn)行加密，對解析后的數(shù)據(jù)匹配快速查找的搜索關(guān)鍵詞。

9.根據(jù)權(quán)利要求1所述的適用于專利公開科技數(shù)據(jù)庫的信息抓取方法，其特征在于：所述發(fā)布裝置為PC機(jī)，和/或是為智能手機(jī)，和/或是為智能手持設(shè)備。