[發明專利]一種面向網絡的多通道大數據采集系統及方法

有效

• 申請號: 201710142262.5
• 申請日: 2017-03-10
• 公開（公告）號: CN106844782B
• 公開（公告）日: 2020-03-20
• 發明（設計）人: 朱世偉;楊子江;于俊鳳;李源;馮海洲;魏墨濟;王燕;李思思;張銘君;王彥
• 申請（專利權）人: 山東省科學院情報研究所
• 主分類號: G06F16/28
• 分類號: G06F16/28
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了面向網絡的多通道大數據采集系統及方法，其中，面向網絡的多通道大數據采集系統由論壇數據采集單元、博客數據采集單元、新聞數據采集單元及關系型數據庫中數據采集單元構成的分布式定向采集體系架構組成；論壇數據采集單元，用于分別通過動態網頁采集方法和網頁信息抽取方法對在線論壇及離線論壇內的網絡數據進行采集；博客數據采集單元，用于負責廣度遍歷博客站點，目的是獲取博客Feed地址；對每個Feed地址對應的博客進行實時采集，跟蹤更新的博客文章，以增量更新方式采集博客信息；新聞數據采集單元，用于采用基于行塊分布函數的方法抽取新聞網頁中的正文文本；關系型數據庫中數據采集單元，用于采用數據轉移工具來批量采集關系型數據庫中數據。

技術領域

本發明屬于網絡數據處理領域，尤其涉及一種面向網絡的多通道大數據采集系統及方法。

背景技術

“大數據”已經成為為自然資源、人力資源同等重要的戰略資源，其所隱含的巨大社會和經濟價值已引起科技界和企業也的高度重視。如果有效地組織和使用這些大數據將對社會和經濟的發展起到巨大的推動作用。這些急劇增長的數據主要來自于人們的日常生活，特別是互聯網已經成為我國最大的公共信息集散地和社會群體平臺。與報紙、無線廣播和電視等傳統的傳播媒體相比，網絡媒體具有進入門檻低、信息超大規模、信息發布與傳播迅速、參與群體龐大、實時交互性強等綜合性特點，已經成為社會政治、經濟各領域最快速、廣泛的信息渠道。而如何從大量的互聯網數據中及時發現有用信息成為政府及各行業的關注熱點。

網絡數據資源的特點是規模大，且來源于世界各地不同站點，分布分散，因此，面對海量的網絡信息及其多樣化的信息形式，如何準確地識別、提取不同來源和形式的信息，高效、全面地采集信息，及時地跟蹤信息的更新，成為大數據獲取的難點，以及成為后期大數據分析準確性的基礎。

發明內容

為了解決現有技術的不足，本發明的第一目的提供一種面向網絡的多通道大數據采集系統。

本發明的一種面向網絡的多通道大數據采集系統，所述面向網絡的多通道大數據采集系統由論壇數據采集單元、博客數據采集單元、新聞數據采集單元及關系型數據庫中數據采集單元構成的分布式定向采集體系架構組成；

所述論壇數據采集單元，用于分別通過動態網頁采集方法和網頁信息抽取方法對在線論壇及離線論壇內的網絡數據進行采集；

所述博客數據采集單元，用于負責廣度遍歷博客站點，目的是獲取博客Feed地址；對每個Feed地址對應的博客進行實時采集，跟蹤更新的博客文章，以增量更新方式采集博客信息；

所述新聞數據采集單元，用于采用基于行塊分布函數的方法抽取新聞網頁中的正文文本，進而獲取新聞數據；

所述關系型數據庫中數據采集單元，用于采用數據轉移工具來批量采集關系型數據庫中數據。

進一步的，在所述論壇數據采集單元中，論壇內的網絡數據以版塊為基本單位進行采集，通過版塊網頁獲取、版塊網頁信息提取、帖子網頁獲取和帖子網頁信息提取這四個階段，將網頁采集與網頁信息提取進行有結合而獲取論壇內網絡數據。

本發明通過動態網頁高效采集技術和網頁信息抽取技術的相互結合，實時、全面、精確地獲取到指定論壇網站中指定版塊中的帖子及其相關元信息。

進一步的，所述博客數據采集單元由一個Feed發現器和多個信息采集器構成，所述Feed發現器用于獲取博客的URL地址或者RSS地址并通過每個博客頁面的鏈接關系去獲取其他博客的URL地址或者RSS地址；所述采集器用于對博客進行增量的刷新采集，并抽取新發表的博文信息，生成相應的博文信息記錄并入庫。

本發明能夠實時采集更新的博客數據，使得數據采集實時且準確。

進一步的，所述新聞數據采集單元包括網頁HTML源碼預處理模塊，其用于對網頁HTML源碼進行編碼、去腳本及特殊字符進行處理；及