[發(fā)明專利]數(shù)據(jù)填充方法及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710569008.3
• 申請(qǐng)日: 2017-07-12
• 公開（公告）號(hào): CN107463628B
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 閆強(qiáng);李愛華;葛勝利
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/28
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 鄢功軍

本公開提供了一種數(shù)據(jù)填充方法，該方法包括：接收包含有待填充數(shù)據(jù)的數(shù)據(jù)文件；獲取數(shù)據(jù)文件中的待填充數(shù)據(jù)的定位信息，其中，待填充數(shù)據(jù)為目標(biāo)數(shù)據(jù)在指定維度上的數(shù)據(jù)，目標(biāo)數(shù)據(jù)為單維度或多維度數(shù)據(jù)；根據(jù)定位信息，確定用于填充待填充數(shù)據(jù)的參考數(shù)據(jù)，其中，目標(biāo)數(shù)據(jù)與參考數(shù)據(jù)在對(duì)應(yīng)維度上滿足預(yù)定關(guān)系；以及利用參考數(shù)據(jù)填充待填充數(shù)據(jù)，以生成新的數(shù)據(jù)文件。本公開還提供了一種數(shù)據(jù)填充系統(tǒng)以及一種非易失性存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

公開涉及數(shù)據(jù)處理領(lǐng)域，更具體地，涉及一種數(shù)據(jù)填充方法及其系統(tǒng)。

背景技術(shù)

隨著信息技術(shù)的飛速發(fā)展，各行各業(yè)積累了大量的數(shù)據(jù)，這些數(shù)據(jù)往往會(huì)存在一些空缺數(shù)據(jù)(又稱為空值)，而空缺數(shù)據(jù)的存在將直接破壞數(shù)據(jù)的完整性，嚴(yán)重制約后續(xù)的數(shù)據(jù)應(yīng)用，嚴(yán)重影響數(shù)據(jù)應(yīng)用結(jié)果的質(zhì)量。由于好的數(shù)據(jù)質(zhì)量是各種數(shù)據(jù)可以有效應(yīng)用的基本條件，因此如何估算、預(yù)測(cè)、或者找回?cái)?shù)據(jù)中的空缺數(shù)據(jù)就顯得尤為重要。

目前，相關(guān)技術(shù)中提供了基于統(tǒng)計(jì)意義上的空值填充方法。然而，在實(shí)現(xiàn)本公開構(gòu)思的過程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問題：相關(guān)技術(shù)提供的方案一般基于全局?jǐn)?shù)據(jù)的分布情況填充空值，導(dǎo)致空值填充質(zhì)量不高。

針對(duì)相關(guān)技術(shù)中的上述問題，目前還未提出有效的解決方案。

發(fā)明內(nèi)容

有鑒于此，本公開的一個(gè)方面提供了一種數(shù)據(jù)填充方法，包括：接收包含有待填充數(shù)據(jù)的數(shù)據(jù)文件；獲取上述數(shù)據(jù)文件中的上述待填充數(shù)據(jù)的定位信息，其中，上述待填充數(shù)據(jù)為目標(biāo)數(shù)據(jù)在指定維度上的數(shù)據(jù)，上述目標(biāo)數(shù)據(jù)為單維度或多維度數(shù)據(jù)；根據(jù)上述定位信息，確定用于填充上述待填充數(shù)據(jù)的參考數(shù)據(jù)，其中，上述目標(biāo)數(shù)據(jù)與上述參考數(shù)據(jù)在對(duì)應(yīng)維度上滿足預(yù)定關(guān)系；以及利用上述參考數(shù)據(jù)填充上述待填充數(shù)據(jù)，以生成新的數(shù)據(jù)文件。

根據(jù)本公開的實(shí)施例，根據(jù)上述定位信息，確定用于填充上述待填充數(shù)據(jù)的參考數(shù)據(jù)包括：根據(jù)上述定位信息，確定用于填充上述待填充數(shù)據(jù)的擬定參考數(shù)據(jù)；計(jì)算上述擬定參考數(shù)據(jù)與上述目標(biāo)數(shù)據(jù)在對(duì)應(yīng)維度上的相似度；以及根據(jù)相似度計(jì)算結(jié)果，從上述擬定參考數(shù)據(jù)中選出相似度滿足預(yù)設(shè)條件的擬定參考數(shù)據(jù)作為上述參考數(shù)據(jù)。

根據(jù)本公開的實(shí)施例，根據(jù)相似度計(jì)算結(jié)果，從上述擬定參考數(shù)據(jù)中選出相似度滿足預(yù)設(shè)條件的擬定參考數(shù)據(jù)作為上述參考數(shù)據(jù)包括：根據(jù)上述相似度計(jì)算結(jié)果，按照相似度大小對(duì)上述擬定參考數(shù)據(jù)進(jìn)行排序，得到對(duì)應(yīng)的擬定參考數(shù)據(jù)序列；從上述擬定參考數(shù)據(jù)序列中選出相似度排在前K位的目標(biāo)擬定參考數(shù)據(jù)；計(jì)算上述目標(biāo)擬定參考數(shù)據(jù)在目標(biāo)維度上的均值，其中，上述目標(biāo)維度為上述待填充數(shù)據(jù)在上述目標(biāo)數(shù)據(jù)上的維度相同；將所述均值中的最小值對(duì)應(yīng)的目標(biāo)擬定參考數(shù)據(jù)作為所述參考數(shù)據(jù)。

根據(jù)本公開的實(shí)施例，利用上述參考數(shù)據(jù)填充上述待填充數(shù)據(jù)包括：將計(jì)算上述目標(biāo)擬定參考數(shù)據(jù)在上述目標(biāo)維度上的均值得到的最小值作為上述待填充數(shù)據(jù)進(jìn)行填充。

根據(jù)本公開的實(shí)施例，在獲取待填充數(shù)據(jù)的定位信息之前，上述方法還包括：對(duì)上述目標(biāo)數(shù)據(jù)和上述參考數(shù)據(jù)分別進(jìn)行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化后的目標(biāo)數(shù)據(jù)和標(biāo)準(zhǔn)化后的參考數(shù)據(jù)；以及利用標(biāo)準(zhǔn)化后的目標(biāo)數(shù)據(jù)替換上述目標(biāo)數(shù)據(jù)以及利用標(biāo)準(zhǔn)化后的參考數(shù)據(jù)替換上述參考數(shù)據(jù)。

本公開的另一方面還提供了一種數(shù)據(jù)填充系統(tǒng)，包括：接收模塊，用于接收包含有待填充數(shù)據(jù)的數(shù)據(jù)文件；獲取模塊，用于獲取待填充數(shù)據(jù)的定位信息，其中，上述待填充數(shù)據(jù)為目標(biāo)數(shù)據(jù)在指定維度上的數(shù)據(jù)，上述目標(biāo)數(shù)據(jù)為單維度或多維度數(shù)據(jù)；確定模塊，用于根據(jù)上述定位信息，確定用于填充上述待填充數(shù)據(jù)的參考數(shù)據(jù)，其中，上述目標(biāo)數(shù)據(jù)與上述參考數(shù)據(jù)在對(duì)應(yīng)維度上滿足預(yù)定關(guān)系；以及填充模塊，用于利用上述參考數(shù)據(jù)填充上述待填充數(shù)據(jù)，以生成新的數(shù)據(jù)文件。

根據(jù)本公開的實(shí)施例，上述確定模塊包括：第一確定單元，用于根據(jù)上述定位信息，確定用于填充上述待填充數(shù)據(jù)的擬定參考數(shù)據(jù)；計(jì)算單元，用于計(jì)算上述擬定參考數(shù)據(jù)與上述目標(biāo)數(shù)據(jù)在對(duì)應(yīng)維度上的相似度；以及第二確定單元，用于根據(jù)相似度計(jì)算結(jié)果，從上述擬定參考數(shù)據(jù)中選出相似度滿足預(yù)設(shè)條件的擬定參考數(shù)據(jù)作為上述參考數(shù)據(jù)。