[發(fā)明專利]大數(shù)據(jù)缺失值填充方法、裝置和計(jì)算機(jī)程序

在審

• 申請(qǐng)?zhí)枺?/td>: 202010499997.5
• 申請(qǐng)日: 2020-06-04
• 公開（公告）號(hào): CN111737463A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 王宏志;秦謙;姜濤
• 申請(qǐng)（專利權(quán)）人: 江蘇名通信息科技有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/30
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 朱遠(yuǎn)楓

本發(fā)明公開了大數(shù)據(jù)缺失值填充方法、裝置和計(jì)算機(jī)程序，對(duì)數(shù)據(jù)集中的缺失值按照語(yǔ)義進(jìn)行區(qū)分，確定所有存在性缺失值；確定所有存在性缺失值的數(shù)值類型；對(duì)各待填充數(shù)值類型分別采用不同的方法進(jìn)行缺失值填充。本發(fā)明對(duì)于數(shù)據(jù)中的缺失值按照語(yǔ)義分為三種，重點(diǎn)關(guān)注存在型缺失值，通過各用戶提供各自的答案，從得到的答案可以分為一些是相似或相同的。本發(fā)明方法簡(jiǎn)單，復(fù)雜度大大降低，并且通過各用戶提供答案可降低開銷同時(shí)能提高填充準(zhǔn)確度，實(shí)現(xiàn)面向大數(shù)據(jù)的缺失值填充，考慮到對(duì)大數(shù)據(jù)的適應(yīng)性，本發(fā)明提供的計(jì)算機(jī)程序可以完成三種類型數(shù)據(jù)的一輪計(jì)算，提升了填充效率。

技術(shù)領(lǐng)域

本發(fā)明是屬于大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及大數(shù)據(jù)缺失值填充 方法、裝置和計(jì)算機(jī)程序。

背景技術(shù)

當(dāng)今信息化時(shí)代下，數(shù)據(jù)已經(jīng)滲透到每個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域， 成為重要的生產(chǎn)因素。而在現(xiàn)實(shí)生活中，不完整信息一直是一個(gè)長(zhǎng)期 存在的問題。人為疏忽，違反規(guī)則，外部因素的限制等等，都是導(dǎo)致 不完整信息產(chǎn)生的原因。在數(shù)據(jù)庫(kù)中常常發(fā)現(xiàn)一些需要的關(guān)鍵信息是 缺失的。目前缺失值的填充方法大都是利用數(shù)據(jù)統(tǒng)計(jì)方法，如在多個(gè) 估算數(shù)據(jù)集中平衡結(jié)果的方法。但是這種方法不具有針對(duì)性，且只適 宜處理數(shù)值型的缺失值，對(duì)于多類別型缺失值則效果較差。目前還有 方法采用人工填寫或刪除含缺失值的記錄數(shù)據(jù)，但是當(dāng)數(shù)據(jù)量達(dá)到一 定級(jí)別時(shí)，耗費(fèi)時(shí)間較多，效率和準(zhǔn)確度會(huì)大大降低。

發(fā)明內(nèi)容

本發(fā)明旨在解決現(xiàn)有技術(shù)中存在的上述技術(shù)問題，提供一種大數(shù) 據(jù)缺失值填充方法、裝置和計(jì)算機(jī)程序，以實(shí)現(xiàn)針對(duì)多種類型的缺失 值進(jìn)行填充，同時(shí)提高了缺失值填充的效率和準(zhǔn)確性。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用了以下技術(shù)方案。

一方面，本發(fā)明提供了一種大數(shù)據(jù)缺失值填充方法，包含以下步 驟：

對(duì)數(shù)據(jù)集中的缺失值按照語(yǔ)義進(jìn)行區(qū)分，確定所有存在性缺失值； 確定所有存在性缺失值的數(shù)值類型；對(duì)各待填充數(shù)值類型分別采用不 同的方法進(jìn)行缺失值填充。

進(jìn)一步地，針對(duì)數(shù)據(jù)集中的缺失值按照語(yǔ)義進(jìn)行區(qū)分，獲得三種 缺失值類型，包括：不存在型缺失值、存在性缺失值和占位性缺失值， 所述不存在型缺失值指對(duì)于數(shù)據(jù)在特定的域不存在一個(gè)有意義的值； 所述存在性缺失值指數(shù)據(jù)的一個(gè)屬性的值存在；所述占位性缺失值， 指的是對(duì)于數(shù)據(jù)屬性相關(guān)值不能確定是否存在還是存在。

進(jìn)一步地，所有存在性缺失值的數(shù)值類型包括數(shù)值屬性、可比較 數(shù)值屬性以及分類屬性。

進(jìn)一步地，所有存在性缺失值的數(shù)值類型包括數(shù)值屬性，對(duì)于數(shù) 值屬性的缺失值的填充方法如下：利用預(yù)先各個(gè)確定可信度權(quán)重的用 戶為數(shù)值屬性缺失值給出答案，取各個(gè)答案的加權(quán)平均值得到填充值， 表達(dá)式如下：

其中輸入是一個(gè)二元組集合S,其中每一個(gè)二元組(w_i,v_i)中w_i代表用戶 可信度權(quán)重，v_i代表該用戶數(shù)值屬性缺失值給出答案。

進(jìn)一步地，所有存在性缺失值的數(shù)值類型包括可比較數(shù)值屬性， 對(duì)于可比較數(shù)值屬性的缺失值填充方法如下：

利用預(yù)先各個(gè)確定可信度權(quán)重的用戶為特定的可比較數(shù)值屬性 缺失值給出答案，計(jì)算任意兩個(gè)用戶給出的答案之間的相似值，將各 相似值與預(yù)先確定的相似值閾值進(jìn)行比較，將相似值大于相似值閾值 的兩個(gè)用戶的答案確定為相似對(duì)；

根據(jù)相似對(duì)的相似值以及數(shù)據(jù)源的權(quán)重，表達(dá)式如下：