[發明專利]數據處理方法及裝置

在審

• 申請號: 202210132717.6
• 申請日: 2022-02-14
• 公開（公告）號: CN114490663A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 馬宇申
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/20
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 趙杰

1.一種數據處理方法，包括：

獲取對應多種數據源的指標類數據和明細類數據；

按照指標數據庫的存儲結構對每種數據源的指標類數據進行處理，獲得目標指標類數據；

按照列式數據庫的存儲結構對每種數據源的明細類數據進行處理，獲得目標明細類數據；

將所述目標指標類數據寫入所述指標數據庫，以及將所述目標明細類數據寫入所述列式數據庫。

2.根據權利要求1所述的數據處理方法，所述獲取對應多種數據源的指標類數據和明細類數據，包括：

接收針對目標業務提交的數據報送請求；

根據所述數據報送請求向目標業務關聯的至少兩個業務節點發送數據上傳請求；

接收各個業務節點針對所述數據上報請求返回的業務數據；

通過對所述業務數據進行分類，獲得對應多種數據源的指標類數據和明細類數據。

3.根據權利要求1所述的數據處理方法，所述按照指標數據庫的存儲結構對每種數據源的指標類數據進行處理，獲得目標指標類數據，包括：

確定每種數據源的存儲結構與所述指標數據庫的存儲結構之間的轉換規則；

按照所述轉換規則對每種數據源的指標類數據進行處理，獲得與所述指標數據庫的存儲結構相同的所述目標指標類數據。

4.根據權利要求1所述的數據處理方法，所述按照列式數據庫的存儲結構對每種數據源的明細類數據進行處理，獲得目標明細類數據，包括：

將每種數據源對應的明細類數據同步至中間業務數據庫；

按照每種數據源對應的結構轉換規則對所述中間業務數據庫中的明細類數據進行轉換；

根據轉換結果生成與所述列式數據庫的存儲結構相同的所述目標明細類數據。

5.根據權利要求4所述的數據處理方法，所述按照每種數據源對應的結構轉換規則對所述中間業務數據庫中的明細類數據進行轉換，包括：

對所述中間業務數據庫中的明細類數據進行解析，獲得初始子數據；

在所述初始子數據中篩選出目標子數據，并按照每種數據源對應的結構轉換規則對所述目標子數據進行轉換。

6.根據權利要求1-5任意一項所述的數據處理方法，所述將所述目標指標類數據寫入所述指標數據庫，以及將所述目標明細類數據寫入所述列式數據庫步驟執行之后，還包括：

在所述指標數據庫和所述列式數據庫的運行狀態為停止狀態的情況下，按照預設的報送周期在所述指標數據庫中提取待報送指標類數據，以及在所述列式數據庫中提取待報送明細類數據；

通過對所述待報送指標類數據和所述待報送明細類數據進行整合，獲得待報送業務數據；

將所述待報送業務數據發送至報送節點。

7.根據權利要求6所述的數據處理方法，所述將所述待報送業務數據發送至報送節點步驟執行之前，還包括：

獲取所述待報送指標類數據對應的指標檢測策略，以及所述待報送明細類數據對應的明細檢測策略；

按照所述指標檢測策略對所述待報送指標類數據進行檢測，獲得指標類數據檢測結果，以及

按照所述明細檢測策略對所述待報送明細類數據進行檢測，獲得明細類數據檢測結果；

將所述指標類數據檢測結果和所述明細類數據檢測結果發送至業務調整節點。

8.根據權利要求7所述的數據處理方法，所述按照所述指標檢測策略對所述待報送指標類數據進行檢測，獲得指標類數據檢測結果，包括：

根據所述指標檢測策略讀取歷史指標類數據；

將所述歷史指標列數據與所述待報送指標類數據進行比對，根據比對結果確定所述指標類數據檢測結果。

9.根據權利要求7所述的數據處理方法，所述按照所述明細檢測策略對所述待報送明細類數據進行檢測，獲得明細類數據檢測結果，包括：

根據所述明細檢測策略創建結構檢測條件和規則檢測條件；

基于所述結構檢測條件和所述規則檢測條件對所述待報送明細類數據進行檢測，獲得所述明細類數據檢測結果。