[發明專利]數據導入方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202010331519.3
• 申請日: 2020-04-22
• 公開（公告）號: CN111506459A
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 鄒普;覃武斌
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/215;G06F16/25;G06F16/27;G06F16/28
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 楊培權

1.一種數據導入方法，其特征在于，所述數據導入方法應用于數據導入系統，所述數據導入系統包括應用程序，主集群，備集群和數據倉庫，所述數據導入方法包括如下步驟：

確定待進行數據導入的目標模型模式，根據所述目標模型模式控制所述應用程序讀寫所述備集群；

將所述數據倉庫中的主數據導入至所述主集群，并檢測所述主集群是否已完全接收所述主數據；

若所述主集群已完全接收所述主數據，則控制所述應用程序只讀寫所述主集群，并將所述數據倉庫中的備數據導入至所述備集群，檢測所述備集群是否已完全接收所述備數據，其中，所述數據倉庫包括主數據和備數據；

若所述備集群已完全接收所述備數據，則控制所述應用程序恢復默認讀寫模式。

2.如權利要求1所述的數據導入方法，其特征在于，所述將所述數據倉庫中的主數據導入至所述主集群的步驟，包括：

對所述數據倉庫中的數據進行數據清洗，以獲取具有所述主集群支持的數據格式的目標數據，將所述目標數據作為主數據，并將所述目標數據導入至主集群。

3.如權利要求2所述的數據導入方法，其特征在于，所述將所述目標數據導入至主集群的步驟，包括：

對所述目標數據的數據源進行封裝，以獲取封裝數據；

將所述封裝數據存儲至HDFS臨時目錄文件，并將所述HDFS臨時目錄文件移動至所述主集群。

4.如權利要求2所述的數據導入方法，其特征在于，所述對所述數據倉庫中的數據進行數據清洗，以獲取具有所述主集群支持的數據格式的目標數據的步驟，包括：

確定所述數據倉庫中的中間數據或歷史全量數據，并對所述中間數據或歷史全量數據進行數據清洗，以獲取清洗數據；

確定所述主集群支持的數據格式，根據所述主集群支持的數據格式對所述清洗數據進行格式轉換，并將進行格式轉換后的清洗數據作為目標數據。

5.如權利要求1所述的數據導入方法，其特征在于，所述將所述數據倉庫中的備數據導入至所述備集群的步驟，包括：

確定所述備集群的存儲格式，并根據所述存儲格式對所述數據倉庫中的備數據進行格式轉換，將進行格式轉換后的備數據導入備集群。

6.如權利要求1所述的數據導入方法，其特征在于，所述確定待進行數據導入的目標模型模式的步驟，包括：

檢測所述應用程序中的字段值，并根據所述字段值在預設的多個模型模式中確定可用模型模式，檢測所述可用模型模式是否為只讀備集群模式；

若是，則將所述可用模型模式作為待進行數據導入的目標模型模式。

7.如權利要求1-6任一項所述的數據導入方法，其特征在于，所述若所述備集群已完全接收所述備數據，則控制所述應用程序恢復默認讀寫模式的步驟，包括：

若所述備集群已完全接收所述備數據，則檢測所述主集群的數據的完整性是否合格，并檢測所述備集群的數據的完整性是否合格；

若所述主集群的數據檢測合格，且所述備集群的數據檢測合格，則控制所述應用程序恢復默認讀寫模式。

8.一種數據導入裝置，其特征在于，所述數據導入裝置包括：

確定模塊，用于確定待進行數據導入的目標模型模式，根據所述目標模型模式控制應用程序讀寫所述備集群；

檢測模塊，用于將數據倉庫中的主數據導入至主集群，并檢測所述主集群是否已完全接收所述主數據；

導入模塊，用于若所述主集群已完全接收所述主數據，則控制所述應用程序只讀寫主集群，并將所述數據倉庫中的備數據導入至所述備集群，檢測所述備集群是否已完全接收所述備數據，其中，所述數據倉庫包括主數據和備數據；

恢復模塊，用于若所述備集群已完全接收所述備數據，則控制所述應用程序恢復默認讀寫模式。

9.一種數據導入設備，其特征在于，所述數據導入設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的數據導入程序，所述數據導入程序被所述處理器執行時實現如權利要求1至7中任一項所述的數據導入方法的步驟。

10.一種計算機存儲介質，其特征在于，所述計算機存儲介質上存儲有數據導入程序，所述數據導入程序被處理器執行時實現如權利要求1至7中任一項所述的數據導入方法的步驟。