[發(fā)明專利]針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711239139.1
• 申請(qǐng)日: 2017-12-01
• 公開(kāi)（公告）號(hào): CN110019159A
• 公開(kāi)（公告）日: 2019-07-16
• 發(fā)明（設(shè)計(jì)）人: 祁建明;周峻松;徐繼峰;陳墩金
• 申請(qǐng)（專利權(quán)）人: 廣州明領(lǐng)基因科技有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/25
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，其特征在于，所述方法包括：S1，通過(guò)JDBC接口調(diào)入待清理的數(shù)據(jù)；S2，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；S3，對(duì)數(shù)據(jù)進(jìn)行不完整數(shù)據(jù)的檢測(cè)、判別以及修正；S4，通過(guò)JDBC接口導(dǎo)出結(jié)果數(shù)據(jù)至新數(shù)據(jù)源。

2.根據(jù)權(quán)利要求1所述的針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，其特征在于，所述步驟S1中，JDBC為Java DataBase Connectivity的縮寫，即Java數(shù)據(jù)庫(kù)連接，該接口把數(shù)據(jù)源中需要清理的數(shù)據(jù)調(diào)入到系統(tǒng)中，執(zhí)行數(shù)據(jù)清理。

3.根據(jù)權(quán)利要求1所述的針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，其特征在于，所述步驟S2中，數(shù)據(jù)預(yù)處理是指標(biāo)準(zhǔn)化數(shù)據(jù)記錄格式，根據(jù)預(yù)定義的規(guī)則，把數(shù)據(jù)記錄中的相應(yīng)字段轉(zhuǎn)換成同一格式。

4.根據(jù)權(quán)利要求1所述的針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，其特征在于，所述步驟S3中，利用算法庫(kù)、規(guī)則庫(kù)及數(shù)據(jù)清理日志完成對(duì)不完整數(shù)據(jù)的相關(guān)處理。

5.根據(jù)權(quán)利要求1所述的針對(duì)不完整數(shù)據(jù)的大數(shù)據(jù)清洗方法，其特征在于，所述步驟S4中，JDBC將處理所得的正確數(shù)據(jù)導(dǎo)出至新數(shù)據(jù)庫(kù)。