[發明專利]基于網絡爬蟲的皮革行業數據中心系統

在審

• 申請號: 201811381544.1
• 申請日: 2018-11-20
• 公開（公告）號: CN110020092A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 黃文穹
• 申請（專利權）人: 皮商云集（廈門）科技有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/338;G06Q50/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于網絡爬蟲的皮革行業數據中心系統，其特征在于包括：

1.1需求參數設置模塊：用于根據用戶的需求，設置待爬取的皮革信息的相應參數及數據展示；

1.2數據庫模塊：使用非關系型數據庫對數據進行存儲，使得獲取的數據都能夠很好的保存；

1.3、網絡爬蟲模塊，用于根據用戶對需求參數設置模塊設定的參數，對其頁面源代碼進行解析，獲取符合用戶要求的網頁內相關的信息；

1.4、可視化模塊：根據行業特點，將數據進行分組歸類，關聯信息能夠進行對比分析。

2.根據權利要求1所述的基于網絡爬蟲的皮革行業數據中心系統，其特征在于所述需求參數設置模塊設定的參數包括皮革行業信息的區域、時間范圍和類型。

3.根據權利要求1所述的基于網絡爬蟲的皮革行業數據中心系統，其特征在于所述數據庫模塊包括皮革行業信息數據庫，用于接收所述網絡爬蟲模塊輸入的其獲取到的皮革行業信息數據。

4.根據權利要求1所述的基于網絡爬蟲的皮革行業數據中心系統，其特征在于所述網絡爬蟲模塊包括滿足用戶要求的皮革行業信息對應的網址超鏈接，以寬度優先的模式爬取網頁，具體內容如下：用戶設置待爬取的皮革行業信息的相應參數，根據用戶設置待爬取的皮革行業信息的相應參數，對網頁進行爬取；優選地，以寬度優先的模式爬取網頁；針對每一個獲取到的網頁，根據用戶設定的參數，對其頁面源代碼進行解析，獲取符合用戶要求的網頁內的相關信息，如：相關皮革行業信息的標題與對于的網址鏈接；將獲取的數據輸出到可視化模塊進行展示。

5.根據權利要求1所述的基于網絡爬蟲的皮革行業數據中心系統，其特征在于所述可視化模塊展示的方式包括：通過Web端進行直觀展示，或通過Excel表格展示；用戶所設置的關鍵詞、類型、區域和時間范圍；滿足用戶要求的皮革行業信息標題。