[發(fā)明專利]基于Hudi的銀行數(shù)據(jù)同步方法、裝置、電子設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211317617.7
• 申請日: 2022-10-26
• 公開（公告）號: CN115599863A
• 公開（公告）日: 2023-01-13
• 發(fā)明（設(shè)計(jì)）人: 李海博;王鑫毅;王長生
• 申請（專利權(quán)）人: 中國農(nóng)業(yè)銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/215;G06F16/22;G06F16/23;G06F16/25;G06Q40/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 初春

本發(fā)明實(shí)施例公開了一種基于Hudi的銀行數(shù)據(jù)同步方法、裝置、電子設(shè)備及介質(zhì)。其中，該方法包括：獲取當(dāng)前數(shù)據(jù)源信息，確定是否存在與所述當(dāng)前數(shù)據(jù)源信息匹配的Hudi表；其中，所述Hudi表用于存儲與歷史數(shù)據(jù)源信息對應(yīng)的歷史數(shù)據(jù)文件；若存在，則確定所述當(dāng)前數(shù)據(jù)源信息為增量數(shù)據(jù)源信息，對所述增量數(shù)據(jù)源信息進(jìn)行數(shù)據(jù)同步；否則，確定所述當(dāng)前數(shù)據(jù)源信息為全量數(shù)據(jù)源信息，對所述全量數(shù)據(jù)源信息進(jìn)行數(shù)據(jù)同步。本技術(shù)方案，能夠在滿足銀行系統(tǒng)安全性和可審計(jì)性的同時，實(shí)現(xiàn)對全量數(shù)據(jù)的增量更新操作，可達(dá)到“T+0”類實(shí)時數(shù)據(jù)同步效果，即當(dāng)天數(shù)據(jù)當(dāng)天消費(fèi)，有效提高了數(shù)據(jù)同步效率和數(shù)據(jù)時效性，同時降低了資源空間占用。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于Hudi的銀行數(shù)據(jù)同步方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)

銀行數(shù)據(jù)分析挖掘系統(tǒng)是服務(wù)于銀行數(shù)據(jù)分析的一站式人工智能平臺，可集中支持所有數(shù)據(jù)分析類項(xiàng)目。目前數(shù)據(jù)分析挖掘系統(tǒng)支持的存儲介質(zhì)主要分為基于Hadoop的HDFS(Hadoop Distributed File System,分布式文件系統(tǒng))存儲和基于MPP(MassivelyParallel Processing，大規(guī)模并行處理)存儲的Gbase數(shù)據(jù)庫。其中，Hadoop是一種用于大型集群上的分布式系統(tǒng)框架，該框架下的計(jì)算任務(wù)會被分割成多個小任務(wù)運(yùn)行在不同的節(jié)點(diǎn)上，且由Hadoop提供的HDFS可將數(shù)據(jù)存儲在計(jì)算節(jié)點(diǎn)上，以提供極高的跨數(shù)據(jù)中心聚合帶寬。Gbase MPP是一種列式存儲架構(gòu)的大規(guī)模分布式并行數(shù)據(jù)庫集群，具備高性能、高可用、高擴(kuò)展等特性，可以為超大規(guī)模數(shù)據(jù)管理提供高性價(jià)比的通用計(jì)算平臺，廣泛用于支持各類數(shù)據(jù)倉庫系統(tǒng)、商業(yè)智能系統(tǒng)和決策支持系統(tǒng)。

目前銀行系統(tǒng)對銀行內(nèi)部企業(yè)數(shù)據(jù)、銀行主體數(shù)據(jù)、銀行外部數(shù)據(jù)的使用存在較多的困難。一是數(shù)據(jù)的時效性較低，數(shù)據(jù)消費(fèi)周期大致為“T+3”，即當(dāng)天數(shù)據(jù)在第三天消費(fèi)。二是對HDFS文件的修改需要進(jìn)行全量替換，不能進(jìn)行增量更新操作，例如新增、刪除或者修改等操作，極大地占用了計(jì)算和存儲資源。三是銀行現(xiàn)有的數(shù)據(jù)分析挖掘平臺系統(tǒng)主要依賴于單進(jìn)程進(jìn)行數(shù)據(jù)同步，很難滿足大規(guī)模數(shù)據(jù)同步需求。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于Hudi的銀行數(shù)據(jù)同步方法、裝置、電子設(shè)備及介質(zhì)，能夠在滿足銀行系統(tǒng)安全性和可審計(jì)性的同時，實(shí)現(xiàn)對全量數(shù)據(jù)的增量更新操作，有效提高了數(shù)據(jù)同步效率和數(shù)據(jù)時效性，同時降低了資源空間占用。

根據(jù)本發(fā)明的一方面，提供了一種基于Hudi的銀行數(shù)據(jù)同步方法，所述方法包括：

獲取當(dāng)前數(shù)據(jù)源信息，確定是否存在與所述當(dāng)前數(shù)據(jù)源信息匹配的Hudi表；其中，所述Hudi表用于存儲與歷史數(shù)據(jù)源信息對應(yīng)的歷史數(shù)據(jù)文件；

若存在，則確定所述當(dāng)前數(shù)據(jù)源信息為增量數(shù)據(jù)源信息，對所述增量數(shù)據(jù)源信息進(jìn)行數(shù)據(jù)同步；

否則，確定所述當(dāng)前數(shù)據(jù)源信息為全量數(shù)據(jù)源信息，對所述全量數(shù)據(jù)源信息進(jìn)行數(shù)據(jù)同步。

根據(jù)本發(fā)明的另一方面，提供了一種基于Hudi的銀行數(shù)據(jù)同步裝置，包括：

當(dāng)前數(shù)據(jù)源信息匹配模塊，用于獲取當(dāng)前數(shù)據(jù)源信息，確定是否存在與所述當(dāng)前數(shù)據(jù)源信息匹配的Hudi表；其中，所述Hudi表用于存儲與歷史數(shù)據(jù)源信息對應(yīng)的歷史數(shù)據(jù)文件；

增量數(shù)據(jù)源數(shù)據(jù)同步模塊，用于若存在，則確定所述當(dāng)前數(shù)據(jù)源信息為增量數(shù)據(jù)源信息，對所述增量數(shù)據(jù)源信息進(jìn)行數(shù)據(jù)同步；

全量數(shù)據(jù)源數(shù)據(jù)同步模塊，用于否則，確定所述當(dāng)前數(shù)據(jù)源信息為全量數(shù)據(jù)源信息，對所述全量數(shù)據(jù)源信息進(jìn)行數(shù)據(jù)同步。

根據(jù)本發(fā)明的另一方面，提供了一種基于Hudi的銀行數(shù)據(jù)同步電子設(shè)備，所述電子設(shè)備包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，