[發明專利]基于Hudi的銀行數據同步方法、裝置、電子設備及介質

在審

• 申請號: 202211317617.7
• 申請日: 2022-10-26
• 公開（公告）號: CN115599863A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 李海博;王鑫毅;王長生
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/215;G06F16/22;G06F16/23;G06F16/25;G06Q40/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 初春

1.一種基于Hudi的銀行數據同步方法，其特征在于，所述方法包括：

獲取當前數據源信息，確定是否存在與所述當前數據源信息匹配的Hudi表；其中，所述Hudi表用于存儲與歷史數據源信息對應的歷史數據文件；

若存在，則確定所述當前數據源信息為增量數據源信息，對所述增量數據源信息進行數據同步；

否則，確定所述當前數據源信息為全量數據源信息，對所述全量數據源信息進行數據同步。

2.根據權利要求1所述的方法，其特征在于，確定是否存在與所述當前數據源信息匹配的Hudi表，包括：

確定所述當前數據源信息的第一標識信息和Hudi表的第二標識信息；

根據所述第一標識信息和所述第二標識信息的匹配結果，確定是否存在與所述當前數據源信息匹配的Hudi表。

3.根據權利要求1所述的方法，其特征在于，對所述增量數據源信息進行數據同步，包括：

根據所述增量數據源信息確定增量數據文件；

根據所述增量數據文件對所述增量數據源信息進行數據同步。

4.根據權利要求3所述的方法，其特征在于，根據所述增量數據文件對所述增量數據源信息進行數據同步，包括：

確定與所述增量數據源信息匹配的目標Hudi表；

基于所述增量數據文件對所述目標Hudi表中的目標數據文件進行更新，以對所述增量數據源信息進行數據同步。

5.根據權利要求4所述的方法，其特征在于，基于所述增量數據文件對所述目標Hudi表中的目標數據文件進行更新，包括：

基于預設數據格式對所述增量數據文件中的數據進行數據格式轉換，得到第一更新增量數據文件；其中，所述預設數據格式基于Hudi表的格式特征進行確定；

基于預設數據類型對所述第一更新增量數據文件中的數據進行數據類型轉換，得到第二更新增量數據文件；其中，所述預設數據類型包括至少一個維度的數據類型；

依據所述第二更新增量數據文件對所述目標Hudi表中的目標數據文件進行更新。

6.根據權利要求1所述的方法，其特征在于，對所述全量數據源信息進行數據同步，包括：

根據所述全量數據源信息確定全量數據文件；

基于所述全量數據文件對所述全量數據源信息進行數據同步。

7.根據權利要求6所述的方法，其特征在于，基于所述全量數據文件對所述全量數據源信息進行數據同步，包括：

基于預設數據格式對所述全量數據文件中的數據進行數據格式轉換，得到第一更新全量數據文件；其中，所述預設數據格式基于Hudi表的格式特征進行確定；

基于預設數據類型對所述第一更新全量數據文件中的數據進行數據類型轉換，得到第二更新全量數據文件；其中，所述預設數據類型包括至少一個維度的數據類型；

根據所述第二更新全量數據文件新建Hudi表，以對所述全量數據源信息進行數據同步。

8.一種基于Hudi的銀行數據同步裝置，其特征在于，所述裝置包括：

當前數據源信息匹配模塊，用于獲取當前數據源信息，確定是否存在與所述當前數據源信息匹配的Hudi表；其中，所述Hudi表用于存儲與歷史數據源信息對應的歷史數據文件；

增量數據源數據同步模塊，用于若存在，則確定所述當前數據源信息為增量數據源信息，對所述增量數據源信息進行數據同步；

全量數據源數據同步模塊，用于否則，確定所述當前數據源信息為全量數據源信息，對所述全量數據源信息進行數據同步。

9.一種基于Hudi的銀行數據同步電子設備，其特征在于，所述電子設備包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-7中任一項所述的基于Hudi的銀行數據同步方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令用于使處理器執行時實現權利要求1-7中任一項所述的基于Hudi的銀行數據同步方法。