[發明專利]一種支持非結構化數據的采集分析系統和方法

在審

• 申請號: 201811345099.3
• 申請日: 2018-11-13
• 公開（公告）號: CN109669965A
• 公開（公告）日: 2019-04-23
• 發明（設計）人: 顏文德;徐明;葉祖鋒;王華松
• 申請（專利權）人: 廣州歐賽斯信息科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/215;G06F16/22;G06F16/28
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 胡輝

本發明公開了一種支持非結構化數據的采集分析系統，包括：數據采集模塊，用于獲取Web頁面上傳的數據作為第一數據，對所述第一數據進行校驗，得到第二數據，將第二數據存入非結構化數據庫中；數據處理模塊，用于從非結構化數據庫中抽取第二數據，對第二數據進行數據清洗，得到第三數據，然后將第三數據存入結構化數據庫中；數據分析模塊，用于對非結構化數據庫中的數據或者結構化數據庫中的數據進行分析處理。本發明采用非結構數據庫對原始數據進行存儲，然后逐步將原始數據處理為結構化的數據并存儲在結構化數據庫中，使得本系統可以有助于減輕Web應用的負載壓力，提升非結構化數據處理的效率。本發明可以廣泛應用于數據處理技術。

技術領域

本發明涉及數據處理技術，尤其是一種支持非結構化數據的采集分析系統和方法。

背景技術

目前，依賴于大數據技術的高速發展，越來越多的Web應用被用戶所使用，使得Web應用數據量的快速增長。隨著Web應用吞吐量的增大，傳統的數據存儲方式已經不能滿足當前的需求，因而促使了大數據量存儲技術的產生。但是，目前大多數的Web分析系統采用結構化的數據庫，這些系統都不能夠方便地對非結構化的數據進行存儲和分析，其要求Web應用對采集的數據進行預處理，輸出與數據庫結構相同的數據格式，增大了Web應用的負載壓力。因此有必要對現有技術進行改進。

發明內容

為解決上述技術問題，本發明的目的在于：提供一種支持非結構化數據的采集分析系統和方法。

本發明所采取的第一種技術方案是：

一種支持非結構化數據的采集分析系統，包括：

數據采集模塊，用于獲取Web頁面上傳的數據作為第一數據，對所述第一數據進行校驗，得到第二數據，將第二數據存入非結構化數據庫中；

數據處理模塊，用于從非結構化數據庫中抽取第二數據，對第二數據進行數據清洗，得到第三數據，然后將第三數據存入結構化數據庫中；

數據分析模塊，用于對非結構化數據庫中的數據或者結構化數據庫中的數據進行分析處理。

進一步，所述非結構化數據庫為MongoDB數據庫，所述結構化數據庫為MySQL數據庫。

進一步，所述數據采集模塊包括數據錄入單元，所述數據錄入單元用于采集用戶輸入的數據作為第一數據。

進一步，所述非結構化數據庫中以文檔作為存儲單位。

進一步，所述對第二數據進行數據清洗，得到第三數據，其具體包括：

獲取結構化數據庫的第一表結構；

獲取第二數據的第二表結構；

根據第一表結構，刪除第二表結構中的無效字段的數據，得到第三數據；所述無效字段是指第一表結構中不存在的字段。

進一步，所述數據處理模塊按照設定周期從非結構數據庫中抽取第二數據。

本發明所采取的第二種技術方案是：

一種支持非結構化數據的采集分析方法，包括以下步驟：

獲取Web頁面上傳的數據作為第一數據；

對所述第一數據進行校驗，得到第二數據；

將第二數據存入非結構化數據庫中；

從非結構化數據庫中抽取第二數據；

對第二數據進行數據清洗，得到第三數據；

將第三數據存入結構化數據庫中。

進一步，所述非結構化數據庫為MongoDB數據庫，所述結構化數據庫為MySQL數據庫。