[發(fā)明專利]數(shù)據(jù)融合的方法和裝置

在審

• 申請?zhí)枺?/td>: 201910362476.2
• 申請日: 2019-04-30
• 公開（公告）號: CN110119413A
• 公開（公告）日: 2019-08-13
• 發(fā)明（設(shè)計）人: 孟垂實;吳博文;胡安民;鄭宇
• 申請（專利權(quán)）人: 京東城市（南京）科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/215;G06F16/22
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;張效榮

本發(fā)明公開了一種數(shù)據(jù)融合的方法和裝置，涉及計算機(jī)技術(shù)領(lǐng)域。該方法的一具體實施方式包括：對各個數(shù)據(jù)源的原始數(shù)據(jù)表進(jìn)行篩選合并，得到每個數(shù)據(jù)源的關(guān)聯(lián)數(shù)據(jù)表，并為關(guān)聯(lián)數(shù)據(jù)表中的字段添加維度標(biāo)簽；對關(guān)聯(lián)數(shù)據(jù)表中的字段進(jìn)行特征分析，選取待用特征；根據(jù)所述維度標(biāo)簽和所述待用特征從各個所述關(guān)聯(lián)數(shù)據(jù)表中抽取梯度；基于梯度建立融合模型。該實施方式能夠?qū)Σ煌瑪?shù)據(jù)源的數(shù)據(jù)進(jìn)行收集和高效處理，對不同結(jié)構(gòu)的數(shù)據(jù)進(jìn)行安全快速的融合，為構(gòu)建統(tǒng)一的融合信息評分體系提供相同標(biāo)準(zhǔn)和格式的數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)融合的方法和裝置。

背景技術(shù)

目前大數(shù)據(jù)分析已應(yīng)用到各個領(lǐng)域的分析中，通常大數(shù)據(jù)分析所使用的數(shù)據(jù)來自于多個異構(gòu)數(shù)據(jù)源。由于各業(yè)務(wù)系統(tǒng)建設(shè)和實施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟(jì)和人為因素等因素影響，導(dǎo)致積累了大量采用不同存儲方式的業(yè)務(wù)數(shù)據(jù)，且采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡單的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫，它們構(gòu)成了異構(gòu)數(shù)據(jù)源。

在社會信用體系建設(shè)中，個人的信用評分問題一直是關(guān)鍵所在，通過聯(lián)合各政府部門的政務(wù)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，實現(xiàn)對失信行為的協(xié)同監(jiān)管和對個人信用狀況的全方面評定，對于改善各行業(yè)、各部門、各地區(qū)的信用環(huán)境，保證社會誠信和信用體系順利建成且能有效運行具有重要作用；

在對個人信用進(jìn)行評分的過程中，由于涉及個人信用的數(shù)據(jù)來源于各個政府部門、互聯(lián)網(wǎng)各個平臺，這些數(shù)據(jù)包含不同的維度，具有不同的數(shù)據(jù)結(jié)構(gòu)、含有大量重復(fù)、缺失、異常數(shù)據(jù)。如何將這些數(shù)據(jù)進(jìn)行安全的整合、同步是實現(xiàn)個人信用評分系統(tǒng)的關(guān)鍵所在。

此外，對于某個物品、某件事或某類事物的分析，通常也可能需要對來自異構(gòu)數(shù)據(jù)源的相關(guān)數(shù)據(jù)進(jìn)行全面分析。

在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題：

1.由于缺少統(tǒng)一的、安全的數(shù)據(jù)融合方法；

2.在對來自異構(gòu)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行融合過程中，存在信息泄露的安全問題；

3.無法為構(gòu)建統(tǒng)一的融合信息評分體系提供相同標(biāo)準(zhǔn)和格式的數(shù)據(jù)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種數(shù)據(jù)融合的方法和裝置，能夠?qū)Σ煌瑪?shù)據(jù)源的數(shù)據(jù)進(jìn)行收集和高效處理，對不同結(jié)構(gòu)的數(shù)據(jù)進(jìn)行安全快速的融合，為構(gòu)建統(tǒng)一的融合信息評分體系提供相同標(biāo)準(zhǔn)和格式的數(shù)據(jù)。

為實現(xiàn)上述目的，根據(jù)本發(fā)明實施例的一個方面，提供了一種數(shù)據(jù)融合的方法。

本發(fā)明實施例的一種數(shù)據(jù)融合的方法包括：

對各個數(shù)據(jù)源的原始數(shù)據(jù)表進(jìn)行篩選合并，得到每個數(shù)據(jù)源的關(guān)聯(lián)數(shù)據(jù)表，并為所述關(guān)聯(lián)數(shù)據(jù)表中的字段添加維度標(biāo)簽；

對所述關(guān)聯(lián)數(shù)據(jù)表中的字段進(jìn)行特征分析，選取待用特征；

根據(jù)所述維度標(biāo)簽和所述待用特征從各個所述關(guān)聯(lián)數(shù)據(jù)表中抽取梯度；

基于所述梯度建立融合模型。

可選地，對各個數(shù)據(jù)源的原始數(shù)據(jù)表進(jìn)行篩選合并，得到每個數(shù)據(jù)源的關(guān)聯(lián)數(shù)據(jù)表包括：

從各個數(shù)據(jù)源收集原始數(shù)據(jù)表；

分析所述原始數(shù)據(jù)表的樣本數(shù)量、字段數(shù)量和空值數(shù)量；

基于所述樣本數(shù)量、所述字段數(shù)量和所述空值數(shù)量從所述原始數(shù)據(jù)表篩選出基礎(chǔ)數(shù)據(jù)表；

基于所述基礎(chǔ)數(shù)據(jù)表的主鍵將同一數(shù)據(jù)源的所述基礎(chǔ)數(shù)據(jù)表合并為關(guān)聯(lián)數(shù)據(jù)表。

可選地，在對所述關(guān)聯(lián)數(shù)據(jù)表中的字段進(jìn)行特征分析，選取待用特征之前還包括：

剔除所述關(guān)聯(lián)數(shù)據(jù)表中含有空值字段或空值字段的數(shù)量超過空字段閾值的樣本；