[發(fā)明專利]基于多維關(guān)聯(lián)字段的數(shù)據(jù)缺失預(yù)測(cè)與異常修正方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202211429366.1
• 申請(qǐng)日: 2022-11-15
• 公開（公告）號(hào): CN116431618A
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 田繼陽(yáng);王馭;楊林;甘江彬;張邦華;徐兢一
• 申請(qǐng)（專利權(quán)）人: 安徽省征信股份有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F18/2433;G06F18/214;G06N20/00
• 代理公司: 合肥佰耀騰興知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 34276
• 代理人: 黃李軍

本發(fā)明提供了基于多維關(guān)聯(lián)字段的數(shù)據(jù)缺失預(yù)測(cè)與異常修正方法和裝置，包括以下步驟：1.數(shù)據(jù)的輸入；2.數(shù)據(jù)完整度判斷；3.數(shù)據(jù)的填充；4.數(shù)據(jù)的輸出；5.完整數(shù)據(jù)的再次輸入；6.異常值的判斷；7.數(shù)據(jù)的修正；8.修正數(shù)據(jù)的輸出。本發(fā)明對(duì)空缺值不進(jìn)行刪除操作，而是通過機(jī)器學(xué)習(xí)，采取基于多維關(guān)聯(lián)字段的數(shù)據(jù)缺失預(yù)測(cè)，最大可能保留了數(shù)據(jù)，避免誤刪數(shù)據(jù)；對(duì)于異常值，在處理前，通過機(jī)器學(xué)習(xí)，首先基于多維關(guān)聯(lián)字段進(jìn)行異常值分析，來判斷是否確實(shí)是異常值，以免誤處理真實(shí)數(shù)據(jù)；實(shí)現(xiàn)數(shù)據(jù)缺失的自動(dòng)填補(bǔ)，數(shù)據(jù)異常的科學(xué)判斷，異常數(shù)值的智能修正，提升數(shù)據(jù)質(zhì)量，降低人工成本及其他風(fēng)險(xiǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及基于多維關(guān)聯(lián)字段的數(shù)據(jù)缺失預(yù)測(cè)與異常修正方法和裝置。

背景技術(shù)

隨著科技發(fā)展進(jìn)步，金融科技公司在日常的生產(chǎn)活動(dòng)中，會(huì)產(chǎn)生大量業(yè)務(wù)數(shù)據(jù)，由于程序或系統(tǒng)等問題，可能會(huì)導(dǎo)致最終產(chǎn)生的業(yè)務(wù)數(shù)據(jù)出現(xiàn)空值或者異常數(shù)據(jù)；另一方面，為了更好地對(duì)外提供服務(wù)，企業(yè)可能會(huì)接入外部數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)通過數(shù)據(jù)采集系統(tǒng)采集相應(yīng)外部數(shù)據(jù)時(shí)，往往會(huì)面臨諸多難題：

1.數(shù)據(jù)在收集、統(tǒng)計(jì)和入庫(kù)時(shí)，可能由于人工錯(cuò)誤導(dǎo)致誤填入了錯(cuò)誤的數(shù)值導(dǎo)致信息異常；

2.不同數(shù)據(jù)源在數(shù)據(jù)同步時(shí)，由于同步方式、手段以及數(shù)據(jù)存儲(chǔ)形式不同，可能導(dǎo)致數(shù)據(jù)質(zhì)量參差不齊，數(shù)據(jù)中的信息出現(xiàn)離群、缺失等問題。

鑒于以上原因，為了更好的使用數(shù)據(jù)，需要增加數(shù)據(jù)清洗環(huán)節(jié)，對(duì)數(shù)據(jù)中缺失的信息進(jìn)行填充，對(duì)異常的信息進(jìn)行判斷、修正，以提升數(shù)據(jù)質(zhì)量。在經(jīng)過調(diào)研和搜索后發(fā)現(xiàn)，當(dāng)前數(shù)據(jù)清洗和修正工作，有的是通過人工挑選，在數(shù)據(jù)量大的時(shí)候，效率和準(zhǔn)確度低；有的是通過離線方式處理，針對(duì)特定數(shù)據(jù)源采用特定的處理方式，不具有普適性。

1.當(dāng)前數(shù)據(jù)修正環(huán)節(jié)大多數(shù)作為整個(gè)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過程中的一個(gè)基礎(chǔ)組件，所做得事情有限，一般的僅能做到異常數(shù)據(jù)剔除、重復(fù)數(shù)據(jù)篩查、類型匹配篩查等功能，且對(duì)數(shù)據(jù)的處理方式較為粗暴簡(jiǎn)單，容易刪除掉一些重要數(shù)據(jù)記錄，不利于后續(xù)環(huán)節(jié)使用。

2.對(duì)于缺失數(shù)據(jù)的處理，通常一些系統(tǒng)采用均值、眾數(shù)等方式來填充，沒有結(jié)合其他特征變量進(jìn)行相關(guān)性分析，挖掘數(shù)據(jù)之間的更多信息，所填充的數(shù)據(jù)缺乏一定的合理性。

3.對(duì)于數(shù)據(jù)異常的判斷和修正往往需要人工操作，效率較低，且過于依賴人工的業(yè)務(wù)經(jīng)驗(yàn)，缺乏數(shù)理統(tǒng)計(jì)的支撐。

發(fā)明內(nèi)容

本發(fā)明旨在提供基于多維關(guān)聯(lián)字段的數(shù)據(jù)缺失預(yù)測(cè)與異常修正方法和裝置克服上述問題或者至少部分地解決上述問題。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案具體是這樣實(shí)現(xiàn)的：

本發(fā)明的提供了基于多維關(guān)聯(lián)字段的數(shù)據(jù)缺失預(yù)測(cè)與異常修正方法，包括以下步驟：

1.數(shù)據(jù)的輸入，從數(shù)據(jù)庫(kù)中讀取業(yè)務(wù)數(shù)據(jù)，并將數(shù)據(jù)庫(kù)中的數(shù)據(jù)預(yù)寬表的形式輸入到裝置中；

2.數(shù)據(jù)完整度判斷，對(duì)數(shù)據(jù)寬表中的數(shù)據(jù)安裝列索引{a₁,a₂,a₃,a₄,···,a_i}遍歷信息{x₁,x₂,x₃,x₄,···,x_j}中的空缺值，判斷數(shù)據(jù)完整度，將樣本分為：

a.信息缺失維度2的樣本，由于缺失較多、不能有效地填充，將對(duì)其進(jìn)行清除；

b.信息缺失維度≤2的樣本，滿足本模塊的使用條件，可以進(jìn)行數(shù)據(jù)填充；

c.無信息缺失的樣本，不需要進(jìn)行填充；