[發明專利]一種面向多來源數據管理的半自動化數據采集更新方法

有效

• 申請號: 202110363545.9
• 申請日: 2021-04-02
• 公開（公告）號: CN113094382B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 溫延龍;王藝茹;皮春瑩;鄭羽辰;乜鵬
• 申請（專利權）人: 南開大學
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/25;G06F16/951
• 代理公司: 合肥晨創知識產權代理事務所(普通合伙) 34162
• 代理人: 宋仔娟

本發明屬于計算機領域，具體涉及用戶在采集大量的有不同來源的數據時，通過系統的自動化管理和用戶的個性化配置對不同來源的數據進行采集和更新。該方法包括如下步驟，步驟1、用戶建立數據類型庫，并為類型庫配置不同來源；步驟2、用戶為數據類型庫中的來源設置數據抓取規則，并啟動源數據采集任務獲取網頁中的源數據；步驟3、用戶啟動數據預處理任務，對步驟2中得到的源數據進行初步預處理，提取出來源網頁中的網頁信息；步驟4、用戶基于數據預處理得到的網頁信息，進行系統配置，并在配置完成后啟動數據處理任務，對數據進行處理或更新。

技術領域

本發明屬于計算機領域，具體涉及用戶在采集大量的有不同來源的數據時，通過系統的自動化管理和用戶的個性化配置對不同來源的數據進行采集和更新。

背景技術

隨著信息時代的不斷發展，數據已經成為信息化管理的一個重要組成部分，對數據的采集、清洗和利用也成為信息展示和管理的基礎。在數據的采集過程中，常常會出現資源消耗過大、多個程序管理不便、爬蟲程序與清洗程序混亂、用戶無法自定義系統配置等問題，這對企業的信息采集過程以及研究者的數據集收集都帶來了極大的不便。除此之外，現有的爬蟲管理平臺不能實現完整的一套符合用戶個性化配置的數據采集、清洗、更新流程。例如現流行的開箱即用的爬蟲管理平臺crawlab，其側重點更偏向于爬蟲程序的管理和監控，主要包括在線開發爬蟲文檔、實時監控爬蟲運行、分布式爬蟲任務處理等功能，而沒有實現一套數據采集、清洗到更新的完整流程。而本系統在設計出一套半自動化的數據采集更新方法之后，對爬蟲任務、更新任務的管理仍然保持了高度的擴展性，更加符合用戶需求。

發明內容

為了解決上述問題，將系統對數據的采集、清洗和更新進行統一管理，與用戶的個性化配置結合在一起，本發明提出了一種面向多來源數據管理的半自動化數據采集更新方法，可實現按照用戶的配置執行相應任務，例如數據采集和數據處理任務。通過增加數據預處理的方式，將網頁源數據中的所有網頁標題提取出來，用戶通過比對各個來源的網頁標題決定在該數據類型庫中最終要保留的屬性名，則所有來源的數據轉換完成之后都將按照該格式保存，以此來實現用戶的個性化數據設置。

為實現上述目的，本發明采用如下技術方案：

一種面向多來源數據管理的半自動化數據采集更新方法，包括如下步驟，

步驟1、用戶建立數據類型庫，并為類型庫配置不同來源；

步驟2、用戶為數據類型庫中的來源設置數據抓取規則，并啟動源數據采集任務獲取網頁中的源數據；

步驟3、用戶啟動數據預處理任務，對步驟2中得到的源數據進行初步預處理，提取出來源網頁中的網頁信息；

步驟4、用戶基于數據預處理得到的網頁信息，進行系統配置，并在配置完成后啟動數據處理任務，對數據進行處理或更新。

本技術方案進一步的優化，所述步驟1中的數據類型庫是指用戶需要收集的任意一種類型的數據，為其命名并在系統中創建。

本技術方案進一步的優化，所述步驟1中用戶在配置不同來源時，主要包括以下步驟：

步驟1.1、新增一個來源時，首先查看系統來源庫中是否包含該來源；

步驟1.2、如果系統來源庫中包含該來源，則用戶只需將該來源添加到該數據類型庫中；

步驟1.3、如果系統來源庫中不包含該來源，則用戶需要添加新來源，錄入來源信息包括設置來源信息、來源地址、上傳數據抓取文件等。

本技術方案進一步的優化，所述步驟2中用戶為數據類型庫中的來源設置抓取規則時，若用戶采用的是系統來源庫中的來源，則不需要再提供抓取規則。

本技術方案進一步的優化，所述步驟2中用戶為數據類型庫中的來源設置抓取規則，所述抓取規則自定義抓取規則。