[發(fā)明專利]針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711239139.1
• 申請(qǐng)日: 2017-12-01
• 公開（公告）號(hào): CN110019159A
• 公開（公告）日: 2019-07-16
• 發(fā)明（設(shè)計(jì)）人: 祁建明;周峻松;徐繼峰;陳墩金
• 申請(qǐng)（專利權(quán)）人: 廣州明領(lǐng)基因科技有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，所述方法包括：S1，通過JDBC接口調(diào)入待清理的數(shù)據(jù)；S2，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；S3，對(duì)數(shù)據(jù)進(jìn)行不完整數(shù)據(jù)的檢測(cè)、判別以及修正；S4，通過JDBC接口導(dǎo)出結(jié)果數(shù)據(jù)至新數(shù)據(jù)源。本發(fā)明方案利用數(shù)據(jù)源之間的屬性值并不是相互獨(dú)立的特性，通過識(shí)別屬性值之間的關(guān)系可以推斷出丟失的屬性值，有效地達(dá)到了數(shù)據(jù)清理的目的，提高了數(shù)據(jù)源的數(shù)據(jù)質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)清洗技術(shù)領(lǐng)域，涉及一種針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法。

背景技術(shù)

隨著信息化的進(jìn)展，企業(yè)內(nèi)部積累了大量的電子數(shù)據(jù)，這些數(shù)據(jù)對(duì)企業(yè)非常重要。但由于各種原因，導(dǎo)致企業(yè)現(xiàn)有系統(tǒng)數(shù)據(jù)庫(kù)中存在重復(fù)的記錄、錯(cuò)誤的數(shù)據(jù)、不完整的數(shù)據(jù)等臟數(shù)據(jù)。這些臟數(shù)據(jù)會(huì)扭曲從數(shù)據(jù)中獲得的信息，影響信息系統(tǒng)的運(yùn)行效果，也為企業(yè)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、建立決策支持系統(tǒng)、應(yīng)用商務(wù)智能化帶來隱患。

為提高信息系統(tǒng)的數(shù)據(jù)質(zhì)量，數(shù)據(jù)清理變得很重要。其中，數(shù)據(jù)不完整(Incompleteness)是產(chǎn)生數(shù)據(jù)質(zhì)量問題的一個(gè)重要因素。

簡(jiǎn)單地說，數(shù)據(jù)不完整是指數(shù)據(jù)源中屬性值的丟失問題。不完整數(shù)據(jù)的存在會(huì)引起決策錯(cuò)誤，特別是數(shù)值數(shù)據(jù)中出現(xiàn)不完整數(shù)據(jù)，所以必須解決數(shù)據(jù)源中的數(shù)據(jù)不完整問題。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，為了克服數(shù)據(jù)源中的不完整數(shù)據(jù)會(huì)加大數(shù)據(jù)源清理的難度，降低數(shù)據(jù)質(zhì)量，影響數(shù)據(jù)挖掘效果的問題，利用數(shù)據(jù)源之間的屬性值并不是相互獨(dú)立的特性，通過識(shí)別屬性值之間的關(guān)系可以推斷出丟失的屬性值，有效地達(dá)到了數(shù)據(jù)清理的目的，提高了數(shù)據(jù)源的數(shù)據(jù)質(zhì)量。

為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案：一種針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，所述方法包括：S1，通過JDBC接口調(diào)入待清理的數(shù)據(jù)；S2，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；S3，對(duì)數(shù)據(jù)進(jìn)行不完整數(shù)據(jù)的檢測(cè)、判別以及修正；S4，通過JDBC接口導(dǎo)出結(jié)果數(shù)據(jù)至新數(shù)據(jù)源。

進(jìn)一步地，所述步驟S1中，JDBC為Java DataBase Connectivity的縮寫，即Java數(shù)據(jù)庫(kù)連接，該接口把數(shù)據(jù)源中需要清理的數(shù)據(jù)調(diào)入到系統(tǒng)中，執(zhí)行數(shù)據(jù)清理。

進(jìn)一步地，所述步驟S2中，數(shù)據(jù)預(yù)處理是指標(biāo)準(zhǔn)化數(shù)據(jù)記錄格式，根據(jù)預(yù)定義的規(guī)則，把數(shù)據(jù)記錄中的相應(yīng)字段轉(zhuǎn)換成同一格式。

進(jìn)一步地，所述步驟S3中，利用算法庫(kù)、規(guī)則庫(kù)及數(shù)據(jù)清理日志完成對(duì)不完整數(shù)據(jù)的相關(guān)處理。

進(jìn)一步地，所述步驟S4中，JDBC將處理所得的正確數(shù)據(jù)導(dǎo)出至新數(shù)據(jù)庫(kù)。

本發(fā)明與現(xiàn)有技術(shù)相比具有以下的有益效果：

本發(fā)明方案針對(duì)數(shù)據(jù)源中的不完整數(shù)據(jù)會(huì)加大數(shù)據(jù)源清理的難度，降低數(shù)據(jù)質(zhì)量，影響數(shù)據(jù)挖掘效果的問題，利用數(shù)據(jù)源之間的屬性值并不是相互獨(dú)立的特性，通過識(shí)別屬性值之間的關(guān)系可以推斷出丟失的屬性值，達(dá)到數(shù)據(jù)清理的目的，提高數(shù)據(jù)源的數(shù)據(jù)質(zhì)量。

附圖說明

圖1是針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法的流程框圖。

圖2是針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法中不完整數(shù)據(jù)操作原理流程圖。

具體實(shí)施方式

下面結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明進(jìn)行更加詳細(xì)與完整的說明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。

參照?qǐng)D1，本發(fā)明的一種針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，所述方法包括：

S1，把數(shù)據(jù)源中需要清理的數(shù)據(jù)通過JDBC(Java DataBase Connectivity，Java數(shù)據(jù)庫(kù)連接)接口調(diào)入到系統(tǒng)中來，執(zhí)行數(shù)據(jù)清理；