[發(fā)明專利]數(shù)據(jù)融合的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910362476.2
• 申請(qǐng)日: 2019-04-30
• 公開（公告）號(hào): CN110119413A
• 公開（公告）日: 2019-08-13
• 發(fā)明（設(shè)計(jì)）人: 孟垂實(shí);吳博文;胡安民;鄭宇
• 申請(qǐng)（專利權(quán)）人: 京東城市（南京）科技有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/215;G06F16/22
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;張效榮

1.一種數(shù)據(jù)融合的方法，其特征在于，包括：

對(duì)各個(gè)數(shù)據(jù)源的原始數(shù)據(jù)表進(jìn)行篩選合并，得到每個(gè)數(shù)據(jù)源的關(guān)聯(lián)數(shù)據(jù)表，并為所述關(guān)聯(lián)數(shù)據(jù)表中的字段添加維度標(biāo)簽；

對(duì)所述關(guān)聯(lián)數(shù)據(jù)表中的字段進(jìn)行特征分析，選取待用特征；

根據(jù)所述維度標(biāo)簽和所述待用特征從各個(gè)所述關(guān)聯(lián)數(shù)據(jù)表中抽取梯度；

基于所述梯度建立融合模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)各個(gè)數(shù)據(jù)源的原始數(shù)據(jù)表進(jìn)行篩選合并，得到每個(gè)數(shù)據(jù)源的關(guān)聯(lián)數(shù)據(jù)表包括：

從各個(gè)數(shù)據(jù)源收集原始數(shù)據(jù)表；

分析所述原始數(shù)據(jù)表的樣本數(shù)量、字段數(shù)量和空值數(shù)量；

基于所述樣本數(shù)量、所述字段數(shù)量和所述空值數(shù)量從所述原始數(shù)據(jù)表篩選出基礎(chǔ)數(shù)據(jù)表；

基于所述基礎(chǔ)數(shù)據(jù)表的主鍵將同一數(shù)據(jù)源的所述基礎(chǔ)數(shù)據(jù)表合并為關(guān)聯(lián)數(shù)據(jù)表。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在對(duì)所述關(guān)聯(lián)數(shù)據(jù)表中的字段進(jìn)行特征分析，選取待用特征之前還包括：

剔除所述關(guān)聯(lián)數(shù)據(jù)表中含有空值字段或空值字段的數(shù)量超過空字段閾值的樣本；

利用箱線圖結(jié)合字段意義的方式去除異常字段；

采用平均數(shù)、眾數(shù)或預(yù)測(cè)值補(bǔ)充空值字段；以及

對(duì)所述關(guān)聯(lián)數(shù)據(jù)表進(jìn)行離散化處理。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)所述關(guān)聯(lián)數(shù)據(jù)表中的字段進(jìn)行特征分析，選取待用特征包括：

對(duì)所述關(guān)聯(lián)數(shù)據(jù)表中的字段進(jìn)行特征衍生，得到數(shù)據(jù)特征和高維非線性特征；

分別計(jì)算所述數(shù)據(jù)特征和所述高維非線性特征的皮爾遜系數(shù)；

基于所述皮爾遜系數(shù)從所述數(shù)據(jù)特征和所述高維非線性特征中選取待用特征。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述維度標(biāo)簽和所述待用特征從各個(gè)所述關(guān)聯(lián)數(shù)據(jù)表中抽取梯度包括：

根據(jù)所述待用特征對(duì)各個(gè)數(shù)據(jù)源對(duì)應(yīng)的所述關(guān)聯(lián)數(shù)據(jù)表進(jìn)行對(duì)齊操作，并為目標(biāo)分配統(tǒng)一標(biāo)識(shí)；

根據(jù)所述維度標(biāo)簽和所述待用特征從各個(gè)所述關(guān)聯(lián)數(shù)據(jù)表中抽取數(shù)據(jù)源的參數(shù)的梯度和所述關(guān)聯(lián)數(shù)據(jù)表的損失，并基于各個(gè)所述關(guān)聯(lián)數(shù)據(jù)表的損失計(jì)算融合損失；

若所述融合損失小于損失閾值，則終止抽??；

若所述融合損失大于或等于損失閾值，則將更新各個(gè)數(shù)據(jù)源的參數(shù)，并重新抽取數(shù)據(jù)源的參數(shù)的梯度和所述關(guān)聯(lián)數(shù)據(jù)表的損失。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

從各個(gè)所述關(guān)聯(lián)數(shù)據(jù)表中提取目標(biāo)的待用特征信息，基于所述待用特征信息生成融合信息；

將所述融合信息輸入所述融合模型，以根據(jù)所述待用特征和所述梯度對(duì)所述融合信息進(jìn)行計(jì)算，得到目標(biāo)的融合分值；以及

在目標(biāo)的融合分值變化時(shí)，對(duì)所述待用特征信息進(jìn)行迭代計(jì)算，得到所述待用特征對(duì)目標(biāo)的影響權(quán)重。

7.一種數(shù)據(jù)融合的裝置，其特征在于，包括：

合并模塊，用于對(duì)各個(gè)數(shù)據(jù)源的原始數(shù)據(jù)表進(jìn)行篩選合并，得到每個(gè)數(shù)據(jù)源的關(guān)聯(lián)數(shù)據(jù)表，并為所述關(guān)聯(lián)數(shù)據(jù)表中的字段添加維度標(biāo)簽；

分析模塊，用于對(duì)所述關(guān)聯(lián)數(shù)據(jù)表中的字段進(jìn)行特征分析，選取待用特征；

抽取模塊，用于根據(jù)所述維度標(biāo)簽和所述待用特征從各個(gè)所述關(guān)聯(lián)數(shù)據(jù)表中抽取梯度；

建模模塊，用于基于所述梯度建立融合模型。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括計(jì)算模塊，用于：

從各個(gè)所述關(guān)聯(lián)數(shù)據(jù)表中提取目標(biāo)的待用特征信息，基于所述待用特征信息生成融合信息；

將所述融合信息輸入所述融合模型，以根據(jù)所述待用特征和所述梯度對(duì)所述融合信息進(jìn)行計(jì)算，得到目標(biāo)的融合分值；以及

在目標(biāo)的融合分值變化時(shí)，對(duì)所述待用特征信息進(jìn)行迭代計(jì)算，得到所述待用特征對(duì)目標(biāo)的影響權(quán)重。