[發明專利]基于眾包思想的社交網絡大數據采集系統在審
| 申請號： | 201711239174.3 | 申請日： | 2017-12-01 |
| 公開（公告）號： | CN110019090A | 公開（公告）日： | 2019-07-16 |
| 發明（設計）人： | 祁建明;周峻松;徐繼峰;陳墩金 | 申請（專利權）人： | 廣州明領基因科技有限公司 |
| 主分類號： | G06F16/182 | 分類號： | G06F16/182;G06F16/13;G06F16/25;G06F16/951;G06F9/48;G06Q50/00 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 510610 廣東省廣州市天河區*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 主題爬蟲 存儲子系統 服務端模塊 客戶端模塊 子系統模塊 爬蟲 采集系統 機器節點 社交網絡 數據獲取 大數據 分布式文件系統 存儲結果數據 模擬瀏覽器 操作完成 程序使用 對象模擬 接收服務 結果校驗 模塊命令 系統控制 信息檢索 服務端 瀏覽器 調用 引入 通信 | ||
1.基于眾包思想的社交網絡大數據采集系統，其特征在于，所述系統包括：服務端模塊、客戶端模塊、存儲子系統模塊以及爬蟲子系統模塊；其中，所述服務端模塊是系統控制的核心，控制任務在下發前的一切操作以及結果校驗等工作；所述客戶端模塊置于分布式機器節點中，通過socket套接字與服務端通信，接收服務端模塊命令、調用主題爬蟲程序等；所述存儲子系統模塊采用HDFS，具體的數據獲取工作由主題爬蟲程序使用HttpClient對象來模擬瀏覽器操作完成；所述爬蟲子系統模塊均為主題爬蟲，置于分布式機器節點中，通過HttpClient對象模擬瀏覽器操作實現。
2.根據權利要求1所述的基于眾包思想的社交網絡大數據采集系統，其特征在于，所述服務端模塊在系統中有且僅有一個，包含控制子模塊、任務調度子模塊、接收子模塊、校驗子模塊以及Mysql數據庫。
3.根據權利要求2所述的基于眾包思想的社交網絡大數據采集系統，其特征在于，所述控制子模塊負責管理服務端模塊與客戶端模塊的通信，并接收第三方提交的任務需求。
4.根據權利要求2所述的基于眾包思想的社交網絡大數據采集系統，其特征在于，所述Mysql數據庫用來存儲和任務有關的一切數據，并接收任務調度子模塊的命令生成任務。
5.根據權利要求2所述的基于眾包思想的社交網絡大數據采集系統，其特征在于，所述任務調度子模塊接收爬蟲程序的任務請求，并返回任務文件，由爬蟲程序完成具體的數據獲取操作。
6.根據權利要求2所述的基于眾包思想的社交網絡大數據采集系統，其特征在于，所述接收子模塊用于接收數據獲取結果。
7.根據權利要求2所述的基于眾包思想的社交網絡大數據采集系統，其特征在于，所述校驗子模塊負責校驗并修改Mysql數據庫中任務狀態。
8.根據權利要求1所述的基于眾包思想的社交網絡大數據采集系統，其特征在于，所述客戶端模塊使用MFC框架實現，機器節點通過安裝客戶端即可選擇加入系統中的某一項目，通過節點自身的運算能力為項目提供計算資源。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于廣州明領基因科技有限公司，未經廣州明領基因科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201711239174.3/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：基于大數據存儲架構的空間數據存儲管理系統
- 下一篇：一種異地數據協同系統
