[發(fā)明專利]多源異構(gòu)數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 202010492097.8
• 申請日: 2020-06-03
• 公開（公告）號: CN111400392B
• 公開（公告）日: 2020-08-21
• 發(fā)明（設(shè)計）人: 顧凌云;郭志攀;王凱;王軒
• 申請（專利權(quán)）人: 上海冰鑒信息科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 成都頂峰專利事務(wù)所(普通合伙) 51224
• 代理人: 李通

1.一種多源異構(gòu)數(shù)據(jù)處理方法，其特征在于，應(yīng)用于與用戶終端通信連接的服務(wù)器，所述方法包括：

獲取目標(biāo)數(shù)據(jù)維度的多源異構(gòu)數(shù)據(jù)，并確定所述多源異構(gòu)數(shù)據(jù)的待處理數(shù)據(jù)源和每個待處理數(shù)據(jù)源下的待轉(zhuǎn)換字段的字段數(shù)據(jù)；

從預(yù)先配置的轉(zhuǎn)換字段庫中，確定每個待處理數(shù)據(jù)源下的待轉(zhuǎn)換字段在所述目標(biāo)數(shù)據(jù)維度的目標(biāo)標(biāo)準(zhǔn)屬性字段，其中，所述預(yù)先配置的轉(zhuǎn)換字段庫包括每個預(yù)設(shè)數(shù)據(jù)源在不同數(shù)據(jù)維度的標(biāo)準(zhǔn)屬性字段下相對應(yīng)的可轉(zhuǎn)換字段；

將所述每個待處理數(shù)據(jù)源下的待轉(zhuǎn)換字段轉(zhuǎn)換為相對應(yīng)的目標(biāo)標(biāo)準(zhǔn)屬性字段，得到所述每個待處理數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)；

根據(jù)所述每個待處理數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)合成所述目標(biāo)數(shù)據(jù)維度的多源異構(gòu)標(biāo)準(zhǔn)數(shù)據(jù)，所述根據(jù)所述每個待處理數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)合成所述目標(biāo)數(shù)據(jù)維度的多源異構(gòu)標(biāo)準(zhǔn)數(shù)據(jù)的步驟，包括：

針對每個待處理數(shù)據(jù)源，根據(jù)所述目標(biāo)數(shù)據(jù)維度所對應(yīng)的預(yù)設(shè)去重字段，分別對該待處理數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)進(jìn)行第一次去重處理，得到該待處理數(shù)據(jù)源下去重處理后的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)；

對每個待處理數(shù)據(jù)源下去重處理后的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)進(jìn)行第二次去重處理后，并將第二次去重處理后的字段數(shù)據(jù)進(jìn)行組合得到所述目標(biāo)數(shù)據(jù)維度的多源異構(gòu)標(biāo)準(zhǔn)數(shù)據(jù)；

所述根據(jù)所述目標(biāo)數(shù)據(jù)維度所對應(yīng)的預(yù)設(shè)去重字段，分別對該待處理數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)進(jìn)行第一次去重處理，得到該待處理數(shù)據(jù)源下去重處理后的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)的步驟，包括：

當(dāng)所述目標(biāo)數(shù)據(jù)維度為列表型數(shù)據(jù)維度時，解析所述目標(biāo)數(shù)據(jù)維度的數(shù)據(jù)業(yè)務(wù)含義，確定所述目標(biāo)數(shù)據(jù)維度的關(guān)鍵業(yè)務(wù)字段，作為所述目標(biāo)數(shù)據(jù)維度所對應(yīng)的預(yù)設(shè)去重字段；

查找該待處理數(shù)據(jù)源下與所述預(yù)設(shè)去重字段匹配的目標(biāo)字段數(shù)據(jù)，并剔除所有存在重復(fù)的目標(biāo)字段數(shù)據(jù)后，得到該待處理數(shù)據(jù)源下去重處理后的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)；

其中，當(dāng)所述目標(biāo)數(shù)據(jù)維度的關(guān)鍵業(yè)務(wù)字段為多個，且存在部分目標(biāo)關(guān)鍵業(yè)務(wù)字段為空時，從預(yù)先配置的補(bǔ)充字段庫中獲取所述部分目標(biāo)關(guān)鍵業(yè)務(wù)字段所對應(yīng)的補(bǔ)充去重字段，并將所述補(bǔ)充去重字段和剩余的關(guān)鍵業(yè)務(wù)字段作為所述預(yù)設(shè)去重字段，所述預(yù)先配置的補(bǔ)充字段庫包括每個關(guān)鍵業(yè)務(wù)字段所對應(yīng)的補(bǔ)充去重字段，所述對每個待處理數(shù)據(jù)源下去重處理后的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)進(jìn)行第二次去重處理后，并將第二次去重處理后的字段數(shù)據(jù)進(jìn)行組合得到所述目標(biāo)數(shù)據(jù)維度的多源異構(gòu)標(biāo)準(zhǔn)數(shù)據(jù)的步驟，包括：

獲取每個待處理數(shù)據(jù)源的優(yōu)先級，并以最高優(yōu)先級的基礎(chǔ)數(shù)據(jù)源為基礎(chǔ)，查找所述基礎(chǔ)數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段中是否存在所述目標(biāo)數(shù)據(jù)維度的所有標(biāo)準(zhǔn)屬性字段；

當(dāng)所述基礎(chǔ)數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段中存在所述目標(biāo)數(shù)據(jù)維度的所有標(biāo)準(zhǔn)屬性字段時，將所述基礎(chǔ)數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)確定為所述目標(biāo)數(shù)據(jù)維度的多源異構(gòu)標(biāo)準(zhǔn)數(shù)據(jù)；

當(dāng)所述基礎(chǔ)數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段中不存在所述目標(biāo)數(shù)據(jù)維度的至少部分標(biāo)準(zhǔn)屬性字段時，獲取不存在于所述目標(biāo)數(shù)據(jù)維度的所有標(biāo)準(zhǔn)屬性字段中的填充標(biāo)準(zhǔn)屬性字段；

基于所述填充標(biāo)準(zhǔn)屬性字段，經(jīng)過至少一個迭代周期的查找，得到待填充字段數(shù)據(jù)，并將所述待填充字段數(shù)據(jù)填充到所述基礎(chǔ)數(shù)據(jù)源下，組合得到所述目標(biāo)數(shù)據(jù)維度的多源異構(gòu)標(biāo)準(zhǔn)數(shù)據(jù)；

其中，每經(jīng)過一個迭代周期時，查找下一優(yōu)先級的補(bǔ)充數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段中是否存在上一迭代周期獲取到的至少部分填充標(biāo)準(zhǔn)屬性字段，當(dāng)該迭代周期的補(bǔ)充數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段中存在所有填充標(biāo)準(zhǔn)屬性字段時，將該迭代周期的補(bǔ)充數(shù)據(jù)源下的填充標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)作為所述待填充字段數(shù)據(jù)，并結(jié)束迭代周期；以及

當(dāng)該迭代周期的補(bǔ)充數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段中僅存在部分填充標(biāo)準(zhǔn)屬性字段時，將該迭代周期的補(bǔ)充數(shù)據(jù)源下的該部分填充標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)作為所述待填充字段數(shù)據(jù)，并繼續(xù)執(zhí)行下一迭代周期；以及

當(dāng)該迭代周期的補(bǔ)充數(shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段中不存在任何填充標(biāo)準(zhǔn)屬性字段時，繼續(xù)執(zhí)行下一迭代周期，當(dāng)?shù)檎宜写幚頂?shù)據(jù)源下的目標(biāo)標(biāo)準(zhǔn)屬性字段之后，結(jié)束迭代周期，得到查找到的所有填充標(biāo)準(zhǔn)屬性字段的字段數(shù)據(jù)作為所述待填充字段數(shù)據(jù)。