[發明專利]信息采集系統

有效

• 申請號: 201810283352.0
• 申請日: 2018-04-02
• 公開（公告）號: CN108549678B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 上官育松;付小東;孫濤;張金紅
• 申請（專利權）人: 北京今朝在線科技有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/955
• 代理公司: 北京華仲龍騰專利代理事務所(普通合伙) 11548
• 代理人: 黃玉玨

本發明提供了一種信息采集系統，包括采集任務添加模塊和采集爬蟲模塊；采集任務添加模塊和采集爬蟲模塊均與數據庫進行數據交互；采集任務添加模塊包括任務管理子模塊；任務管理子模塊，用于添加多項采集任務信息，并將添加的多項采集任務信息上傳至數據庫；采集爬蟲模塊包括列表采集子模塊；列表采集子模塊，用于實時檢索數據庫，由數據庫中獲取每項采集任務信息，并采用分布式爬蟲技術根據每項采集任務信息采集相應的目的信息，并將采集到的目的信息上傳至數據庫中進行存儲。其實現了多項采集任務的并行執行，其相對于傳統的爬蟲信息采集單線程執行有效提高了信息采集效率。

技術領域

本發明涉及互聯網技術領域，特別是涉及一種信息采集系統。

背景技術

傳統的爬蟲進行任務信息的采集過程中，由于采集的間隔時間較長，導致信息采集耗時長，效率低。

發明內容

基于此，有必要針對傳統的爬蟲進行任務信息采集時耗時較長，效率低的問題，提供一種信息采集系統。

基于上述目的，本發明提供的一種信息采集系統，包括采集任務添加模塊和采集爬蟲模塊；所述采集任務添加模塊和所述采集爬蟲模塊均與數據庫進行數據交互；

其中，所述采集任務添加模塊包括任務管理子模塊；

所述任務管理子模塊，用于添加多項采集任務信息，并將添加的多項所述采集任務信息上傳至所述數據庫；

所述采集爬蟲模塊包括列表采集子模塊；

所述列表采集子模塊，用于實時檢索所述數據庫，由所述數據庫中獲取每項所述采集任務信息，并采用分布式爬蟲技術根據每項所述采集任務信息采集相應的目的信息，并將采集到的所述目的信息上傳至所述數據庫中進行存儲。

在其中一個實施例中，所述任務管理子模塊包括任務網址添加單元、搜索類型設置單元、列表類型添加單元、源碼替換添加單元、網站域名添加單元、機構選擇添加單元、標題添加單元、信息來源添加單元、信息數量添加單元、主題分類添加單元、時間添加單元、體裁分類添加單元、地域添加單元、信息類型添加單元和地址添加單元；

所述任務網址添加單元，用于添加所述采集任務信息中的網址信息；

所述搜索類型設置單元，用于設置所述采集任務信息中的信息類型；

所述列表類型添加單元，用于添加所述采集任務信息的列表形式；

所述源碼替換添加單元，用于添加所述采集任務信息的替換源碼信息；

所述網站域名添加單元，用于添加所述采集任務信息中的網站域名信息；

所述機構選擇添加單元，用于添加所述采集任務信息中的機構信息；

所述標題添加單元，用于添加所述采集任務信息中的標題信息；

所述信息來源添加單元，用于添加所述采集任務信息中的來源信息；

所述信息數量添加單元，用于添加所述采集任務信息中的數量信息；

所述主題分類添加單元，用于添加所述采集任務信息中的主題信息；

所述時間添加單元，用于添加所述采集任務信息中的時間信息；

所述體裁分類添加單元，用于添加所述采集任務信息中的體裁信息；

所述地域添加單元，用于添加所述采集任務信息中的地域信息；

所述信息類型添加單元，用于添加所述采集任務信息的信息類型；

所述地址添加單元，用于添加所述采集任務信息中的地址信息。