[發(fā)明專利]一種大數(shù)據(jù)智能清洗系統(tǒng)及云機(jī)器人智能清洗服務(wù)平臺(tái)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711218069.1
• 申請(qǐng)日: 2017-11-28
• 公開（公告）號(hào): CN107943973A
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計(jì)）人: 湯寒林;劉春明
• 申請(qǐng)（專利權(quán)）人: 上海云信留客信息科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 上海申新律師事務(wù)所31272
• 代理人: 俞滌炯

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)服務(wù)技術(shù)領(lǐng)域，尤其涉及一種大數(shù)據(jù)智能清洗系統(tǒng)及云機(jī)器人智能清洗服務(wù)平臺(tái)。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)的規(guī)模變得龐大，數(shù)據(jù)的增長(zhǎng)速度變快，數(shù)據(jù)的類型和結(jié)構(gòu)也更加繁多。在增長(zhǎng)的過程中，數(shù)據(jù)量的疊加造成了大量數(shù)據(jù)的重復(fù)，存在許多垃圾數(shù)據(jù)或者說無用的數(shù)據(jù)。另外，數(shù)據(jù)中存在的不完整的、錯(cuò)誤的、近似的數(shù)據(jù)信息需要補(bǔ)全、修正、轉(zhuǎn)換。因此，需要從現(xiàn)有的大數(shù)據(jù)量中清洗出對(duì)應(yīng)的數(shù)據(jù)，通過數(shù)據(jù)清洗能夠?qū)崿F(xiàn)對(duì)大數(shù)據(jù)進(jìn)行降噪，主要是將重復(fù)的數(shù)據(jù)、不完整的數(shù)據(jù)和錯(cuò)誤的數(shù)據(jù)進(jìn)行排除，從而得到一致性較高的數(shù)據(jù)。

現(xiàn)有的數(shù)據(jù)清洗工作多采用人工方式，清洗效率較低。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種大數(shù)據(jù)智能清洗系統(tǒng)。

本發(fā)明采用如下技術(shù)方案：

一種大數(shù)據(jù)智能清洗系統(tǒng)，包括：

輸入模塊，所述輸入模塊用于提供給用戶輸入至少一種預(yù)清洗數(shù)據(jù)，每種所述預(yù)清洗數(shù)據(jù)分別對(duì)應(yīng)一唯一的業(yè)務(wù)類型；

數(shù)據(jù)處理模塊，所述數(shù)據(jù)處理模塊連接所述輸入模塊，用于從所述預(yù)清洗數(shù)據(jù)中自動(dòng)掃描提取目標(biāo)字段，并處理得到可分析模型；

存儲(chǔ)模塊，所述存儲(chǔ)模塊連接所述數(shù)據(jù)處理模塊，包括至少一個(gè)數(shù)據(jù)庫，每個(gè)所述數(shù)據(jù)庫分別用于存儲(chǔ)一種所述預(yù)清洗數(shù)據(jù)及相應(yīng)的所述多個(gè)可分析模型，以及分別用于存儲(chǔ)保護(hù)對(duì)應(yīng)每種所述預(yù)清洗數(shù)據(jù)的多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)模型；

清洗模塊，所述清洗模塊連接所述存儲(chǔ)模塊，用于對(duì)所述預(yù)清洗數(shù)據(jù)進(jìn)行清洗處理以得到標(biāo)準(zhǔn)化數(shù)據(jù)并輸出匹配信息，所述清洗處理包括模型匹配處理和語音核對(duì)處理。

優(yōu)選的，所述多種預(yù)清洗數(shù)據(jù)的數(shù)據(jù)類型包括所述多種預(yù)清洗數(shù)據(jù)的數(shù)據(jù)類型包括文本數(shù)據(jù)、圖像數(shù)據(jù)及語音數(shù)據(jù)。

優(yōu)選的，所述數(shù)據(jù)處理模塊利用數(shù)據(jù)倉(cāng)庫技術(shù)從所述預(yù)清洗數(shù)據(jù)中自動(dòng)掃描提取所述目標(biāo)字段，并根據(jù)預(yù)設(shè)的分類算法對(duì)所述目標(biāo)字段處理得到所述可分析模型。

優(yōu)選的，所述清洗模塊包括:

模型匹配單元，用于根據(jù)所述多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)模型對(duì)所述多個(gè)可分析模型進(jìn)行所述模型匹配處理，以使每個(gè)所述可分析模型分別與一所述標(biāo)準(zhǔn)數(shù)據(jù)模型匹配并得到相應(yīng)的所述標(biāo)準(zhǔn)化數(shù)據(jù)，以及用于輸出第一匹配結(jié)果；

語音核對(duì)單元，所述語音核對(duì)單元連接所述模型匹配單元，用于接收所述第一匹配結(jié)果并在所述第一匹配結(jié)果為失敗時(shí)，利用語音合成技術(shù)和語義識(shí)別技術(shù)根據(jù)所述有效信息對(duì)關(guān)聯(lián)于所述有效信息的所述用戶進(jìn)行語音核對(duì)處理，以使每個(gè)所述可分析模型分別與一所述標(biāo)準(zhǔn)數(shù)據(jù)模型匹配并得到相應(yīng)的所述標(biāo)準(zhǔn)化數(shù)據(jù)并在匹配失敗時(shí)刪除所述可分析模型及相應(yīng)的所述預(yù)清洗數(shù)據(jù)，以及用于輸出第二匹配結(jié)果；

所述匹配信息包括所述第一匹配結(jié)果和所述第二匹配結(jié)果。

優(yōu)選的，所述大數(shù)據(jù)智能清洗系統(tǒng)還包括：

更新模塊，所述更新模塊連接所述存儲(chǔ)模塊和所述清洗模塊，用于利用深度學(xué)習(xí)技術(shù)根據(jù)所述第一匹配結(jié)果和所述第二匹配結(jié)果分別對(duì)所述清洗處理的處理規(guī)則進(jìn)行更新；

所述存儲(chǔ)模塊還用于存儲(chǔ)更新后的所述清洗處理的處理規(guī)則。

優(yōu)選的，所述大數(shù)據(jù)智能清洗系統(tǒng)還包括：

分析模塊，所述分析模塊連接清洗模塊，用于根據(jù)所述第一匹配結(jié)果和所述第二匹配結(jié)果對(duì)所述預(yù)清洗數(shù)據(jù)進(jìn)行分析處理以得到數(shù)據(jù)分析報(bào)告。

優(yōu)選的，所述大數(shù)據(jù)智能清洗系統(tǒng)還包括：

云端加速模塊，所述云端加速模塊連接所述清洗模塊，所述云端加速模塊用于根據(jù)預(yù)設(shè)的業(yè)務(wù)需求調(diào)整所述清洗模塊的進(jìn)行所述清洗處理的速度。

優(yōu)選的，一種云機(jī)器人智能清洗服務(wù)平臺(tái)，采用上述的大數(shù)據(jù)智能清洗系統(tǒng)。

本發(fā)明的有益效果：大幅度提升數(shù)據(jù)清洗效率的同時(shí)也大大減少人力消耗，相應(yīng)減少企業(yè)的辦公場(chǎng)地、辦公用品等費(fèi)用，從而極大地減低了企業(yè)大數(shù)據(jù)清洗的成本，為用戶提供高效、便捷、準(zhǔn)確的標(biāo)準(zhǔn)化數(shù)據(jù)。

附圖說明

圖1為本發(fā)明的一種優(yōu)選實(shí)施例中，大數(shù)據(jù)智能清洗系統(tǒng)的功能模塊示意圖；

圖2為本發(fā)明的一種優(yōu)選實(shí)施例中，清洗模塊的功能模塊示意圖。

具體實(shí)施方式

需要說明的是，在不沖突的情況下，下述技術(shù)方案，技術(shù)特征之間可以相互組合。

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步的說明：

如圖1所示，一種大數(shù)據(jù)智能清洗系統(tǒng)，包括：

輸入模塊1，上述輸入模塊1用于提供給用戶輸入至少一種預(yù)清洗數(shù)據(jù)，每種上述預(yù)清洗數(shù)據(jù)分別對(duì)應(yīng)一唯一的業(yè)務(wù)類型；