[發(fā)明專利]一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811345099.3
• 申請(qǐng)日: 2018-11-13
• 公開（公告）號(hào): CN109669965A
• 公開（公告）日: 2019-04-23
• 發(fā)明（設(shè)計(jì)）人: 顏文德;徐明;葉祖鋒;王華松
• 申請(qǐng)（專利權(quán)）人: 廣州歐賽斯信息科技有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/215;G06F16/22;G06F16/28
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 胡輝

1.一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析系統(tǒng)，其特征在于：包括：

數(shù)據(jù)采集模塊，用于獲取Web頁面上傳的數(shù)據(jù)作為第一數(shù)據(jù)，對(duì)所述第一數(shù)據(jù)進(jìn)行校驗(yàn)，得到第二數(shù)據(jù)，將第二數(shù)據(jù)存入非結(jié)構(gòu)化數(shù)據(jù)庫(kù)中；

數(shù)據(jù)處理模塊，用于從非結(jié)構(gòu)化數(shù)據(jù)庫(kù)中抽取第二數(shù)據(jù)，對(duì)第二數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到第三數(shù)據(jù)，然后將第三數(shù)據(jù)存入結(jié)構(gòu)化數(shù)據(jù)庫(kù)中；

數(shù)據(jù)分析模塊，用于對(duì)非結(jié)構(gòu)化數(shù)據(jù)庫(kù)中的數(shù)據(jù)或者結(jié)構(gòu)化數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分析處理。

2.根據(jù)權(quán)利要求1所述的一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析系統(tǒng)，其特征在于：所述非結(jié)構(gòu)化數(shù)據(jù)庫(kù)為MongoDB數(shù)據(jù)庫(kù)，所述結(jié)構(gòu)化數(shù)據(jù)庫(kù)為MySQL數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求1所述的一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析系統(tǒng)，其特征在于：所述數(shù)據(jù)采集模塊包括數(shù)據(jù)錄入單元，所述數(shù)據(jù)錄入單元用于采集用戶輸入的數(shù)據(jù)作為第一數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析系統(tǒng)，其特征在于：所述非結(jié)構(gòu)化數(shù)據(jù)庫(kù)中以文檔作為存儲(chǔ)單位。

5.根據(jù)權(quán)利要求1所述的一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析系統(tǒng)，其特征在于：所述對(duì)第二數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到第三數(shù)據(jù)，其具體包括：

獲取結(jié)構(gòu)化數(shù)據(jù)庫(kù)的第一表結(jié)構(gòu)；

獲取第二數(shù)據(jù)的第二表結(jié)構(gòu)；

根據(jù)第一表結(jié)構(gòu)，刪除第二表結(jié)構(gòu)中的無效字段的數(shù)據(jù)，得到第三數(shù)據(jù)；所述無效字段是指第一表結(jié)構(gòu)中不存在的字段。

6.根據(jù)權(quán)利要求1所述的一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析系統(tǒng)，其特征在于：所述數(shù)據(jù)處理模塊按照設(shè)定周期從非結(jié)構(gòu)數(shù)據(jù)庫(kù)中抽取第二數(shù)據(jù)。

7.一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析方法，其特征在于：包括以下步驟：

獲取Web頁面上傳的數(shù)據(jù)作為第一數(shù)據(jù)；

對(duì)所述第一數(shù)據(jù)進(jìn)行校驗(yàn)，得到第二數(shù)據(jù)；

將第二數(shù)據(jù)存入非結(jié)構(gòu)化數(shù)據(jù)庫(kù)中；

從非結(jié)構(gòu)化數(shù)據(jù)庫(kù)中抽取第二數(shù)據(jù)；

對(duì)第二數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到第三數(shù)據(jù)；

將第三數(shù)據(jù)存入結(jié)構(gòu)化數(shù)據(jù)庫(kù)中。

8.根據(jù)權(quán)利要求7所述的一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析方法，其特征在于：所述非結(jié)構(gòu)化數(shù)據(jù)庫(kù)為MongoDB數(shù)據(jù)庫(kù)，所述結(jié)構(gòu)化數(shù)據(jù)庫(kù)為MySQL數(shù)據(jù)庫(kù)。

9.根據(jù)權(quán)利要求7所述的一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析方法，其特征在于：所述對(duì)第二數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到第三數(shù)據(jù)，其具體包括：

獲取結(jié)構(gòu)化數(shù)據(jù)庫(kù)的第一表結(jié)構(gòu)；

獲取第二數(shù)據(jù)的第二表結(jié)構(gòu)；

根據(jù)第一表結(jié)構(gòu)，刪除第二表結(jié)構(gòu)中的無效字段的數(shù)據(jù)，得到第三數(shù)據(jù)；所述無效字段是指第一表結(jié)構(gòu)中不存在的字段。

10.根據(jù)權(quán)利要求7所述的一種支持非結(jié)構(gòu)化數(shù)據(jù)的采集分析方法，其特征在于：所述從非結(jié)構(gòu)化數(shù)據(jù)庫(kù)中抽取第二數(shù)據(jù)，其具體為：

按照設(shè)定的周期從非結(jié)構(gòu)化數(shù)據(jù)庫(kù)中抽取第二數(shù)據(jù)。