[發(fā)明專利]數(shù)據(jù)表關聯(lián)生成及業(yè)務處理方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202210432984.5
• 申請日: 2022-04-22
• 公開（公告）號: CN114817257A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 朱恕偉;李琳;周冰;吳耀華;李小海
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 陳小娟

本發(fā)明公開了一種數(shù)據(jù)表關聯(lián)生成及業(yè)務處理方法、裝置、設備及存儲介質，數(shù)據(jù)表關聯(lián)生成方法包括：讀取多個源表的源表數(shù)據(jù)，確定所述源表數(shù)據(jù)中的關聯(lián)字段；以所述關聯(lián)字段為各所述源表數(shù)據(jù)的共用字段，將各所述源表數(shù)據(jù)合并為寬表；若所述寬表中所述關聯(lián)字段的值存在重復，對所述寬表中所述關聯(lián)字段的值進行數(shù)據(jù)去重，并根據(jù)數(shù)據(jù)去重后的所述寬表確定目標數(shù)據(jù)表。本發(fā)明避免了在進行數(shù)據(jù)表關聯(lián)時，計算機資源開銷大的現(xiàn)象發(fā)生。

技術領域

本發(fā)明涉及數(shù)據(jù)處理技術領域，尤其涉及一種數(shù)據(jù)表關聯(lián)生成及業(yè)務處理方法、裝置、設備及存儲介質。

背景技術

大數(shù)據(jù)計算通常使用MapReduce(編程模型)、Hive(數(shù)據(jù)倉庫工具)、和spark(計算引擎)等框架，這些計算框架在進行表格關聯(lián)時，一般是以一個表格中的某個字段掃描另外一個表格中的所有字段，并且是表格中的所有字段都要進行至少一次掃描另外一個表格中的所有字段的操作，然后再構建關聯(lián)后的表格，但是這種表格關聯(lián)方式操作復雜，需要對表格內同樣的字段進行多次掃描，造成計算機資源開銷較大。

發(fā)明內容

本發(fā)明的主要目的在于提供一種數(shù)據(jù)表關聯(lián)生成及業(yè)務處理方法、裝置、設備及存儲介質，旨在解決如何進行表格關聯(lián)時，減少計算機資源開銷的技術問題。

為實現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)表關聯(lián)生成方法，包括以下步驟：

讀取多個源表的源表數(shù)據(jù)，確定所述源表數(shù)據(jù)中的關聯(lián)字段；

以所述關聯(lián)字段為各所述源表數(shù)據(jù)的共用字段，將各所述源表數(shù)據(jù)合并為寬表；

若所述寬表中所述關聯(lián)字段的值存在重復，對所述寬表中所述關聯(lián)字段的值進行數(shù)據(jù)去重，并根據(jù)數(shù)據(jù)去重后的所述寬表確定目標數(shù)據(jù)表。

可選地，若所述寬表中所述關聯(lián)字段的值存在重復，對所述寬表中所述關聯(lián)字段的值進行數(shù)據(jù)去重，并根據(jù)數(shù)據(jù)去重后的所述寬表確定目標數(shù)據(jù)表的步驟，包括：

若所述寬表中僅存在一種關聯(lián)字段且所述寬表中存在所述關聯(lián)字段的值相同的若干條數(shù)據(jù)，則對所述若干條數(shù)據(jù)中的所述關聯(lián)字段的值進行數(shù)據(jù)去重，并對所述若干條數(shù)據(jù)中除所述關聯(lián)字段外的其他字段的值進行疊加，得到目標數(shù)據(jù)表；

若所述寬表中存在多種關聯(lián)字段且所述寬表中存在各關聯(lián)字段的值分別對應相同的若干條數(shù)據(jù)，則對所述若干條數(shù)據(jù)中的所述各關聯(lián)字段的值進行數(shù)據(jù)去重，對所述若干條數(shù)據(jù)中除所述各關聯(lián)字段外的其他字段的值進行疊加，得到目標數(shù)據(jù)表。

可選地，所述讀取多個源表的源表數(shù)據(jù)的步驟，包括：

通過網絡獲取多個源表的源表數(shù)據(jù)。

可選地，以所述關聯(lián)字段為各所述源表數(shù)據(jù)的共用字段，將各所述源表數(shù)據(jù)合并為寬表的步驟之后，還包括：

若所述寬表中所述關聯(lián)字段的值不存在重復，或者，若所述寬表中存在多種關聯(lián)字段且所述寬表中不存在各關聯(lián)字段的值分別對應相同的若干條數(shù)據(jù)，將所述寬表作為所述目標數(shù)據(jù)表。

此外，為實現(xiàn)上述目的，本發(fā)明提供一種業(yè)務處理方法，包括以下步驟：

根據(jù)上述數(shù)據(jù)表關聯(lián)生成方法，生成目標數(shù)據(jù)表；

獲取業(yè)務需求，根據(jù)所述目標數(shù)據(jù)表執(zhí)行所述業(yè)務需求對應的業(yè)務處理。

可選地，根據(jù)所述目標數(shù)據(jù)表執(zhí)行所述業(yè)務需求對應的業(yè)務處理的步驟，包括：

基于所述業(yè)務需求確定所述目標數(shù)據(jù)表中新的關聯(lián)字段，并對所述目標數(shù)據(jù)表中新的關聯(lián)字段進行數(shù)據(jù)去重，得到新的目標數(shù)據(jù)表，根據(jù)所述新的目標數(shù)據(jù)表執(zhí)行所述業(yè)務需求對應的業(yè)務處理。

此外，為實現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)表關聯(lián)生成裝置，包括：