[實用新型]大數據爬網分析平臺

有效

• 申請號: 201721658635.6
• 申請日: 2017-12-01
• 公開（公告）號: CN207557945U
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 許永良;李丙權;郭志成
• 申請（專利權）人: 煙臺百卡通數據有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F1/18;G06F1/20
• 代理公司: 北京愛普納杰專利代理事務所(特殊普通合伙) 11419
• 代理人: 王玉松

本實用新型提供了一種大數據爬網分析平臺，包括索引服務器及與索引服務器相通訊的平臺終端，平臺終端包括殼體，殼體上設有用于數據通訊的數據插口，數據插口與數據處理器連接，平臺終端通過數據插口與索引服務器通訊連接并實現數據交換，殼體上位于數據插口外側設置封蓋，封蓋與殼體滑動連接；殼體側壁上均勻開設條形槽，條形槽內設置隔離透氣網。本實用新型提供的平臺通過索引服務器為用戶存儲了爬取分析后的網頁，有效提高了用戶的檢索效率，同時索引服務器與終端連接更加方便，實現了快速的數據對接，封蓋的設計對數據插口進行了有效保護，此外，平臺終端散熱性能好，能夠有效防止蚊蟲進入終端內，實用性強。

技術領域

本實用新型涉及數據分析管理技術領域，特別涉及一種大數據爬網分析平臺。

背景技術

目前，為了提高用戶對網絡內容的搜索效率，很多互聯網信息采集系統采用網絡爬蟲和爬網技術。對內容進行爬網指系統訪問和分析內容及其屬性(有時稱為“元數據”)從而建立可提供搜索查詢服務的內容索引的過程。通過成功地對內容進行爬網，爬網程序可以訪問和讀取您希望用于搜索查詢的單個文件或內容片段，有效提高對內容的搜索效率。

目前，現有的爬網工具僅能以網頁的URL基礎對網頁及內容的爬取，但是由于互聯網中的URL數量數以億計，并且不同的URL之間相互鏈接和映射，所以很難避免重復爬取相同的URL，這將導致數據庫中重復內容占據內存較大，影響爬取操作，同時為用戶后期搜索造成麻煩，此外，現有的爬網工具不方便攜帶，只能硬性連接，一旦連接后插拔不方便，在使用時連接比較麻煩，而且長時間使用設備內部容易進入灰塵或蚊蟲，為此，急需開發一種結構簡單，與服務器連接比較方便，且能夠起到數據處理、分析及存儲的大數據爬網分析平臺。

實用新型內容

為了解決現有技術存在的上述問題，本實用新型提供了一種大數據爬網分析平臺。

本實用新型具體技術方案如下：

本實用新型提供了一種大數據爬網分析平臺，包括索引服務器及與所述索引服務器相通訊的平臺終端，所述平臺終端包括殼體，所述殼體內設有信息采集器、數據處理器、信息過濾器和存儲器，所述信息采集器、所述信息過濾器和所述存儲器均與所述數據處理器連接；所述殼體上設有用于數據通訊的數據插口及顯示屏，所述殼體上位于所述顯示屏下方設有控制按鈕，所述顯示屏、所述數據插口及所述控制按鈕均與所述數據處理器連接，所述平臺終端通過所述數據插口與所述索引服務器通訊連接并實現數據交換，所述殼體上位于所述數據插口外側設置封蓋，所述封蓋與所述殼體滑動連接；所述殼體側壁上均勻開設條形槽，所述條形槽內設置隔離透氣網。

進一步的，所述殼體上位于所述數據插口的兩側對稱開設滑槽，所述滑槽內兩端設有能夠沿所述滑槽延伸方向滑動的滑塊，所述封蓋包括兩個對稱設置的滑蓋，兩個所述滑蓋分別位于所述滑槽的兩端，其中，

所述滑蓋包括一個L型板和兩個對稱設置在所述L型板兩側的立板，兩個所述立板的底部分別與對應的所述滑槽內的所述滑塊連接。

進一步的，所述殼體一側設置固定板，所述固定板上遠離所述殼體的一側對稱設置兩個支架，所述支架與所述固定板鉸接。

進一步的，所述固定板上設有吸盤，所述固定板通過所述吸盤吸附在所述殼體背面。

進一步的，所述信息采集器用于采集用戶通過網絡瀏覽器搜索引擎搜索的關鍵字段，并將采集的所述關鍵字段發送至所述數據處理器；

所述數據處理器包括根據所述關鍵字段在互聯網中自動爬取若干與所述關鍵字段相關的網絡內容，并將爬取的所述網絡內容發送至所述信息過濾器，所述網絡內容由關鍵字和元數據組成；

所述信息過濾器用于對所述網絡內容中的所述元數據進行相似性分析，并將所述元數據相似性較高的所述網絡內容刪除，同時所述數據處理器將過濾后的所述網絡內容進行壓縮打包后發送至所述存儲器存儲。