[發明專利]數據導入方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202010625565.4
• 申請日: 2020-06-30
• 公開（公告）號: CN111767287A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 陳文浩
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/28;G06F16/27;G06F16/182
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 薛福玲

本發明涉及金融科技(Fintech)技術領域，并公開了一種數據導入方法，該方法包括：將待進行數據導入的原始數據進行數據轉換處理，以獲取目標數據；對所述目標數據進行分類處理，以獲取多個劃分數據，并將各所述劃分數據依次分配至各所述劃分數據對應的分區表；依次對具有所述劃分數據的分區表創建索引，以獲取具有索引的各目標分區表，對各所述目標分區表進行快照處理，以獲取各所述目標分區表對應的目標快照；將各所述目標快照發送至所述原始數據對應的目標集群，其中，所述目標集群依次對接收的各所述目標快照進行快照恢復。本發明還公開了一種數據導入裝置、設備和一種計算機存儲介質。本發明提高了數據導入的效率。

技術領域

本發明涉及金融科技(Fintech)技術領域，尤其涉及數據導入方法、裝置、設備及計算機存儲介質。

背景技術

隨著計算機技術的發展，越來越多的技術(大數據、分布式、云計算、人工智能等)應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變，但由于金融行業的安全性、實時性要求，也對數據導入的技術提出了更高的要求。目前在進行數據導入時，一般是先確定hive(數據倉庫)中的待進行數據導入的數據，再通過spark(計算引擎)計算該數據的分配方式，根據計算的分配方式將該數據導入至目標集群，并在目標集群中通過java應用將導入的數據進行格式轉換，再存儲至該數據對應的索引文件中。但是在數據量較大時，隨著數據不斷的導入，索引保存的segement(數據段)也會不斷的增多，并且還需要對segement進行合并處理，對磁盤資源需求量較大，有時甚至會出現磁盤滿負荷運行操作，使得數據導入的速度急劇下降，嚴重影響數據導入的效率。

發明內容

本發明的主要目的在于提出一種數據導入方法、裝置、設備及計算機存儲介質，旨在解決如何提高數據導入的效率的技術問題。

為實現上述目的，本發明提供一種數據導入方法，所述數據導入方法包括如下步驟：

將待進行數據導入的原始數據進行數據轉換處理，以獲取目標數據；

對所述目標數據進行分類處理，以獲取多個劃分數據，并將各所述劃分數據依次分配至各所述劃分數據對應的分區表；

依次對具有所述劃分數據的分區表創建索引，以獲取具有所述索引的各目標分區表，對各所述目標分區表進行快照處理，以獲取各所述目標分區表對應的目標快照；

將各所述目標快照發送至所述原始數據對應的目標集群，其中，所述目標集群依次對接收的各所述目標快照進行快照恢復。

可選地，對所述目標數據進行分類處理，以獲取多個劃分數據的步驟，包括：

獲取所述目標數據中的所有子數據，基于預設的數據轉換方式將各所述子數據轉換為數值，并檢測各所述數值中是否存在大于預設固定值的目標數值；

若存在，則對各所述數值進行求余處理，并將所述求余處理的求余結果作為劃分數據。

可選地，若存在，則對各所述數值進行求余處理，并將所述求余處理的求余結果作為劃分數據的步驟之后，包括：

基于所述原始數據對應的目標集群的可用資源確定待創建的索引的索引數量，并構建和所述索引數量相同數量的分區表，確定各所述分區表的取值范圍，依次遍歷各所述劃分數據，將當前遍歷的當前劃分數據和各所述取值范圍進行匹配；

若在各所述取值范圍中存在和所述當前劃分數據匹配的目標取值范圍，則將所述目標取值范圍對應的分區表作為所述當前劃分數據對應的分區表，直至各所述劃分數據遍歷完成。

可選地，將各所述劃分數據依次分配至各所述劃分數據對應的分區表的步驟，包括：