[發(fā)明專利]一種智能化網(wǎng)絡信息采集系統(tǒng)及采集方法

在審

• 申請?zhí)枺?/td>: 202010883237.4
• 申請日: 2020-08-28
• 公開（公告）號: CN112182462A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設計）人: 尤媛媛;李梁
• 申請（專利權）人: 鎮(zhèn)江智越智能科技有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;H04L29/08;G06F40/126;G06F16/335
• 代理公司: 北京欣鼎專利代理事務所(普通合伙) 11834
• 代理人: 王陽虹

1.一種智能化網(wǎng)絡信息采集系統(tǒng)，包括網(wǎng)絡服務器、任務管理器、網(wǎng)頁數(shù)據(jù)提取器、任務分配器和信息采集器，其特征在于：所述網(wǎng)絡服務器與網(wǎng)頁數(shù)據(jù)提取器連接，所述網(wǎng)頁數(shù)據(jù)提取器與任務管理器連接，所述任務管理器與任務分配器連接，所述任務分配器與信息采集器連接；

所述網(wǎng)絡服務器用于根據(jù)web協(xié)議獲取網(wǎng)頁中的圖片和文字數(shù)據(jù)；

所述網(wǎng)頁數(shù)據(jù)提取器用于提取網(wǎng)頁中的圖片和文字數(shù)據(jù)；

所述任務管理器用于管理數(shù)據(jù)庫，并存儲網(wǎng)頁中的圖片和文字數(shù)據(jù)，保存網(wǎng)頁的使用規(guī)則；

所述任務分配器用于對采集到的任務進行分配及任務完成情況進行反饋，所述任務分配器對信息采集器在設定的緩沖周期內針對常用網(wǎng)頁的訪問次數(shù)判斷及選擇信息采集器中當前最適于執(zhí)行信息采集工作的信息采集器，以及常用網(wǎng)站中當前最適于訪問的目標網(wǎng)站，并將信息采集任務分配到當前最適于訪問的目標網(wǎng)站的信息采集器；

所述信息采集器用于接收采集任務，并將采集的任務添加至任務分配器，所述信息采集器用于對分配到其的信息采集任務的目標網(wǎng)站進行訪問及下載。

2.根據(jù)權利要求1所述的一種智能化網(wǎng)絡信息采集系統(tǒng)，其特征在于：所述網(wǎng)絡服務器在獲取網(wǎng)頁中的圖片和文字數(shù)據(jù)的過程中，通過至少HTTP，F(xiàn)TP，Gopher以及BBS中的一種或者多種方式的Web協(xié)議獲取網(wǎng)頁的數(shù)據(jù)。

3.根據(jù)權利要求1所述的一種智能化網(wǎng)絡信息采集系統(tǒng)，其特征在于：所述信息采集器用于下載目標網(wǎng)站的規(guī)則，且依據(jù)該規(guī)則對網(wǎng)絡信息進行采集，且將采集的結果上傳至數(shù)據(jù)庫。

4.根據(jù)權利要求1所述的一種智能化網(wǎng)絡信息采集系統(tǒng)，其特征在于：所述任務分配器用于對信息采集器的采集結果進行分析處理，然后進行數(shù)據(jù)統(tǒng)計得到統(tǒng)計結果，并將統(tǒng)計結構上傳至數(shù)據(jù)庫。

5.一種智能化網(wǎng)絡信息采集方法，其特征在于：包括以下步驟：

S1：根據(jù)web協(xié)議獲取網(wǎng)頁中的數(shù)據(jù)，提取得到網(wǎng)頁中的元素數(shù)據(jù)，并將提取的元數(shù)據(jù)儲存在數(shù)據(jù)庫中；

S2：網(wǎng)頁數(shù)據(jù)提取器對中英文網(wǎng)頁及文字的判別處理，若超文本網(wǎng)頁編碼采用GB2312標準則為中文網(wǎng)頁，否則為英文網(wǎng)頁，對在網(wǎng)頁標題及正文中的中文、英文或符號通過字符編碼的范圍進行判斷，提取文本，對獲取的HTML源文件進行過濾處理并去掉其中的標簽控制符提取文本信息，去除腳本，對HTML進行解析時，若遇到Script開始標簽，則查找Script結束標簽，查找成功后在該結束標簽后繼續(xù)進行解析；根據(jù)預先建立的特殊字符表查找出網(wǎng)頁數(shù)據(jù)中的特殊字符并對特殊字符進行處理，過濾網(wǎng)頁數(shù)據(jù)字符和存儲網(wǎng)頁文本：對一個網(wǎng)頁中的文本進行存儲并對各分離的文本之間加上分隔符，同時將標簽劃分為分隔標簽和普通標簽，當兩個文本之間為普通標簽時則兩個文本是連續(xù)文本；最后過濾網(wǎng)頁數(shù)據(jù)后統(tǒng)一網(wǎng)頁數(shù)據(jù)字符格式；

S3：任務管理器對網(wǎng)頁數(shù)據(jù)提取器提取的網(wǎng)頁中的圖片和文字數(shù)據(jù)進行管理，并對網(wǎng)頁的使用規(guī)則進行設定；

S4：任務分配器根據(jù)接收到的信息對存儲在數(shù)據(jù)庫內的數(shù)據(jù)進行判斷，根據(jù)判斷得到合適的信息采集器對目標信息進行采集，并將采集的信息分配至任務管理器中的目標網(wǎng)頁，對目標網(wǎng)頁進行訪問及下載。

6.根據(jù)權利要求5所述的一種智能化網(wǎng)絡信息采集系統(tǒng)，其特征在于：所述S2中去除腳本還可以為默認腳本為文本并將其提取出來，然后再判斷該文本是否為腳本代碼，若是腳本則不予收集。