[發明專利]數據處理方法及裝置

在審

• 申請號: 202210132717.6
• 申請日: 2022-02-14
• 公開（公告）號: CN114490663A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 馬宇申
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/20
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 趙杰

本說明書提供數據處理方法及裝置，其中所述數據處理方法包括：獲取對應多種數據源的指標類數據和明細類數據；按照指標數據庫的存儲結構對每種數據源的指標類數據進行處理，獲得目標指標類數據；按照列式數據庫的存儲結構對每種數據源的明細類數據進行處理，獲得目標明細類數據；將所述目標指標類數據寫入所述指標數據庫，以及將所述目標明細類數據寫入所述列式數據庫。

技術領域

本說明書涉及合規數據管理技術領域，特別涉及數據處理方法及裝置。

背景技術

隨著互聯網技術的發展，越來越多的用戶選擇線上消費，不同于傳統的實體消費場景，用戶通過互聯網即可完成購物、預定、炒股、辦理證件等，很大程度上提高了用戶的便捷性。隨著線上服務的開展加深，涉及到的數據也就越來越多，不同業務場景下所關聯的數據也不同。當需要對業務進行審計時，就需要由業務下屬的各個節點進行數據匯總并上報；現有技術中，由于各個節點的數據源不同，導致上報的數據都具有不同的數據結構，無法快速的完成審計處理，因此亟需一種有效的方案以解決上述問題。

發明內容

有鑒于此，本說明書實施例提供了一種數據處理方法。本說明書同時涉及一種數據處理裝置，一種計算設備，一種計算機可讀存儲介質以及一種計算機程序，以解決現有技術中存在的技術缺陷。

根據本說明書實施例的第一方面，提供了一種數據處理方法，包括：

獲取對應多種數據源的指標類數據和明細類數據；

按照指標數據庫的存儲結構對每種數據源的指標類數據進行處理，獲得目標指標類數據；

按照列式數據庫的存儲結構對每種數據源的明細類數據進行處理，獲得目標明細類數據；

將所述目標指標類數據寫入所述指標數據庫，以及將所述目標明細類數據寫入所述列式數據庫。

可選地，所述獲取對應多種數據源的指標類數據和明細類數據，包括：

接收針對目標業務提交的數據報送請求；

根據所述數據報送請求向目標業務關聯的至少兩個業務節點發送數據上傳請求；

接收各個業務節點針對所述數據上報請求返回的業務數據；

通過對所述業務數據進行分類，獲得對應多種數據源的指標類數據和明細類數據。

可選地，所述按照指標數據庫的存儲結構對每種數據源的指標類數據進行處理，獲得目標指標類數據，包括：

確定每種數據源的存儲結構與所述指標數據庫的存儲結構之間的轉換規則；

按照所述轉換規則對每種數據源的指標類數據進行處理，獲得與所述指標數據庫的存儲結構相同的所述目標指標類數據。

可選地，所述按照列式數據庫的存儲結構對每種數據源的明細類數據進行處理，獲得目標明細類數據，包括：

將每種數據源對應的明細類數據同步至中間業務數據庫；

按照每種數據源對應的結構轉換規則對所述中間業務數據庫中的明細類數據進行轉換；

根據轉換結果生成與所述列式數據庫的存儲結構相同的所述目標明細類數據。

可選地，所述按照每種數據源對應的結構轉換規則對所述中間業務數據庫中的明細類數據進行轉換，包括：

對所述中間業務數據庫中的明細類數據進行解析，獲得初始子數據；

在所述初始子數據中篩選出目標子數據，并按照每種數據源對應的結構轉換規則對所述目標子數據進行轉換。

可選地，所述將所述目標指標類數據寫入所述指標數據庫，以及將所述目標明細類數據寫入所述列式數據庫步驟執行之后，還包括：