[發明專利]數據導入方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202010331519.3
• 申請日: 2020-04-22
• 公開（公告）號: CN111506459A
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 鄒普;覃武斌
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/215;G06F16/25;G06F16/27;G06F16/28
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 楊培權

本發明涉及金融科技(Fintech)技術領域，并公開了一種數據導入方法，該方法包括：確定待進行數據導入的目標模型模式，根據所述目標模型模式控制所述應用程序讀寫所述備集群；將所述數據倉庫中的主數據導入至所述主集群，并檢測所述主集群是否已完全接收所述主數據；若所述主集群已完全接收所述主數據，則控制所述應用程序只讀寫所述主集群，并將所述數據倉庫中的備數據導入至所述備集群，檢測所述備集群是否已完全接收所述備數據；若所述備集群已完全接收所述備數據，則控制所述應用程序恢復默認讀寫模式。本發明還公開了一種數據導入裝置、設備和一種計算機存儲介質。本發明在進行數據導入時，提高了服務的穩定性。

技術領域

本發明涉及金融科技(Fintech)的測試技術領域，尤其涉及數據導入方法、裝置、設備及計算機存儲介質。

背景技術

隨著計算機技術的發展，越來越多的技術(大數據、分布式、區塊鏈Blockchain、人工智能等)應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變，但由于金融行業的安全性、實時性要求，也對技術提出了更高的要求。由于互聯網的爆炸式數據增長導致對海量數據的存儲有迫切需求，但由于傳統的mysql(關系型數據庫管理系統)、orcal(關系型數據庫)只能在百萬級的數據能提供很好的事務能力和讀寫性能，當數據超過百萬級時，其性能急劇下降，且對mysql，客戶端想要獲取較好的性能，需要對db(數據庫)進行分庫分表，無形中增加的業務的復雜度，且不方便后續的維護和擴容，從而使得服務的穩定性變差。因此如何在數據導入時，提高服務的穩定性成為了目前亟待解決的技術問題。

發明內容

本發明的主要目的在于提出一種數據導入方法、裝置、設備及計算機存儲介質，旨在解決如何在數據導入時，提高服務的穩定性成為了目前亟待解決的技術問題。

為實現上述目的，本發明提供一種數據導入方法，所述數據導入方法應用于數據導入系統，所述數據導入系統包括應用程序，主集群，備集群和數據倉庫，所述數據導入方法包括如下步驟：

確定待進行數據導入的目標模型模式，根據所述目標模型模式控制所述應用程序讀寫所述備集群；

將所述數據倉庫中的主數據導入至所述主集群，并檢測所述主集群是否已完全接收所述主數據；

若所述主集群已完全接收所述主數據，則控制所述應用程序只讀寫所述主集群，并將所述數據倉庫中的備數據導入至所述備集群，檢測所述備集群是否已完全接收所述備數據，其中，所述數據倉庫包括主數據和備數據；

若所述備集群已完全接收所述備數據，則控制所述應用程序恢復默認讀寫模式。

可選地，所述將所述數據倉庫中的主數據導入至所述主集群的步驟，包括：

對所述數據倉庫中的數據進行數據清洗，以獲取具有所述主集群支持的數據格式的目標數據，將所述目標數據作為主數據，并將所述目標數據導入至主集群。

可選地，所述將所述目標數據導入至主集群的步驟，包括：

對所述目標數據的數據源進行封裝，以獲取封裝數據；

將所述封裝數據存儲至HDFS臨時目錄文件，并將所述HDFS臨時目錄文件移動至所述主集群。

可選地，所述對所述數據倉庫中的數據進行數據清洗，以獲取具有所述主集群支持的數據格式的目標數據的步驟，包括：

確定所述數據倉庫中的中間數據或歷史全量數據，并對所述中間數據或歷史全量數據進行數據清洗，以獲取清洗數據；

確定所述主集群支持的數據格式，根據所述主集群支持的數據格式對所述清洗數據進行格式轉換，并將進行格式轉換后的清洗數據作為具有所述主集群支持的數據格式的目標數據。

可選地，所述將所述數據倉庫中的備數據導入至所述備集群的步驟，包括：