[發明專利]基于大數據的數據處理方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202110380430.0
• 申請日: 2021-04-08
• 公開（公告）號: CN113076317A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 周中和;陳婷;吳三平;王宗澤
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 張志江

本發明公開了一種基于大數據的數據處理方法、裝置、設備及計算機可讀存儲介質，述基于大數據的數據處理方法包括：在檢測到包含數據主體的明細主鍵組件被選擇時，獲取所述明細主鍵組件對應的明細主鍵物理表；獲取選擇的維度組件和指標組件，并獲取所述維度組件對應的維度物理表，以及獲取所述指標組件對應的指標物理表；將所述明細主鍵物理表與所述維度物理表進行左關聯，以及將所述明細主鍵物理表與所述指標物理表進行左關聯，生成明細數據；基于所述明細數據，生成數據寬表，以基于所述數據寬表進行數據處理。本發明提高了數據處理效率，并提高了數據處理的靈活性。

技術領域

本發明涉及金融科技(Fintech)技術領域，尤其涉及一種基于大數據的數據處理方法、裝置、設備及計算機可讀存儲介質。

背景技術

隨著金融科技及互聯網技術的迅速發展，越來越多的技術(大數據、分布式、區塊鏈Blockchain、人工智能等)應用在金融領域。目前，對業務數據進行處理的模型均為建立在數據結構穩定，以及維度和指標不易改變的場景下，例如Kimball(金博爾)維度模型、星型模型、雪花型模型等，這些模型通常采用維度表和事實表的方式對數據進行組織和管理，即一個事實對應一組維度表，以實現多維分析。

然而，隨著大數據技術的普及，數據呈現爆炸式的增長，在一些數據分析應用場景下，維度和指標的口徑定義會不斷發生變化，導致現有模型顯露出一系列的缺陷。例如，為實現多維分析，需將多種維度和指標進行組合以生成寬表，然后從寬表中排除無效的維度和指標，以使基于有效的維度和指標進行數據分析等數據處理操作，這過程需要耗費大量的數據開發工作，導致對數據進行挖掘、沉淀、呈現等數據處理操作效率過低。

綜上所述，如何提高數據處理效率是目前亟需解決的問題。

發明內容

本發明的主要目的在于提供一種基于大數據的數據處理方法、裝置、設備及計算機可讀存儲介質，旨在提高數據處理效率，并提高數據處理的靈活性。

為實現上述目的，本發明提供一種基于大數據的數據處理方法，所述基于大數據的數據處理方法包括以下步驟：

在檢測到包含數據主體的明細主鍵組件被選擇時，獲取所述明細主鍵組件對應的明細主鍵物理表；

獲取選擇的維度組件和指標組件，并獲取所述維度組件對應的維度物理表，以及獲取所述指標組件對應的指標物理表；

將所述明細主鍵物理表與所述維度物理表進行左關聯，以及將所述明細主鍵物理表與所述指標物理表進行左關聯，生成明細數據；

基于所述明細數據，生成數據寬表，以基于所述數據寬表進行數據處理。

可選地，所述基于所述明細數據，生成數據寬表的步驟包括：

將所述明細數據按照維度進行分組，得到分組數據；或，

將所述明細數據按照指標進行分組，得到分組數據；

將所述分組數據插入到寬表的物理表中，得到數據寬表。

可選地，所述在檢測到包含數據主體的明細主鍵組件被選擇時，獲取所述明細主鍵組件對應的明細主鍵物理表的步驟之后，還包括：

將所述明細主鍵物理表的主鍵進行關聯擴展，以使所述主鍵包含多個主鍵字段。

可選地，所述在檢測到包含數據主體的明細主鍵組件被選擇時，獲取所述明細主鍵組件對應的明細主鍵物理表的步驟之前，還包括：

獲取第一字段定義，其中，所述第一字段定義為基于構建明細主鍵組件的業務需求，提取對應的業務明細表的字段得到，所述第一字段定義包括主鍵字段、維度字段、指標字段和日期分區字段；

基于所述第一字段定義，構建明細主鍵物理表；