[發明專利]數據導入方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202010625565.4
• 申請日: 2020-06-30
• 公開（公告）號: CN111767287A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 陳文浩
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/28;G06F16/27;G06F16/182
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 薛福玲

1.一種數據導入方法，其特征在于，所述數據導入方法包括如下步驟：

將待進行數據導入的原始數據進行數據轉換處理，以獲取目標數據；

對所述目標數據進行分類處理，以獲取多個劃分數據，并將各所述劃分數據依次分配至各所述劃分數據對應的分區表；

依次對具有所述劃分數據的分區表創建索引，以獲取具有所述索引的各目標分區表，對各所述目標分區表進行快照處理，以獲取各所述目標分區表對應的目標快照；

將各所述目標快照發送至所述原始數據對應的目標集群，其中，所述目標集群依次對接收的各所述目標快照進行快照恢復。

2.如權利要求1所述的數據導入方法，其特征在于，所述對所述目標數據進行分類處理，以獲取多個劃分數據的步驟，包括：

獲取所述目標數據中的所有子數據，基于預設的數據轉換方式將各所述子數據轉換為數值，并檢測各所述數值中是否存在大于預設固定值的目標數值；

若存在，則對各所述數值進行求余處理，并將所述求余處理的求余結果作為劃分數據。

3.如權利要求2所述的數據導入方法，其特征在于，所述若存在，則對各所述數值進行求余處理，并將所述求余處理的求余結果作為劃分數據的步驟之后，包括：

基于所述原始數據對應的目標集群的可用資源確定待創建的索引的索引數量，并構建和所述索引數量相同數量的分區表，確定各所述分區表的取值范圍，依次遍歷各所述劃分數據，將當前遍歷的當前劃分數據和各所述取值范圍進行匹配；

若在各所述取值范圍中存在和所述當前劃分數據匹配的目標取值范圍，則將所述目標取值范圍對應的分區表作為所述當前劃分數據對應的分區表，直至各所述劃分數據遍歷完成。

4.如權利要求1所述的數據導入方法，其特征在于，所述將各所述劃分數據依次分配至各所述劃分數據對應的分區表的步驟，包括：

將各所述劃分數據依次分配至各所述劃分數據對應的分區表，依次遍歷各所述分區表，并對當前遍歷的當前分區表中預設的歸約任務個數進行求余處理，根據所述求余處理結果將所述當前分區表中的劃分數據分配至各所述歸約任務中，直至各所述分區表遍歷完成。

5.如權利要求1所述的數據導入方法，其特征在于，所述對各所述目標分區表進行快照處理，以獲取各所述目標分區表對應的目標快照的步驟，包括：

依次遍歷各所述目標分區表，獲取當前遍歷的當前目標分區表中的多個數據段，并根據各所述數據段的屬性進行合并處理，以獲取目標數據段，并將具有所述目標數據段的當前目標分區表進行快照處理，以獲取所述當前目標分區表對應的目標快照，直至各所述目標分區表遍歷完成。

6.如權利要求1所述的數據導入方法，其特征在于，所述將各所述目標快照發送至所述原始數據對應的目標集群的步驟，包括：

將各所述目標快照發送至HDFS，并通過所述HDFS將所述目標快照發送至所述原始數據對應的目標集群，其中，所述目標集群依次對接收的各所述目標快照進行快照恢復，以獲取各所述目標快照中的快照數據和索引，并檢測各所述快照數據是否和所述目標集群中的歷史數據匹配，若均不匹配，則對各所述索引進行合并處理，并將各所述快照數據寫入至所述目標集群。

7.如權利要求1-6任一項所述的數據導入方法，其特征在于，所述將待進行數據導入的原始數據進行數據轉換處理，以獲取目標數據的步驟，包括：

將待進行數據導入的原始數據進行數據轉換處理，以獲取整型數據，并根據預設格式對所述整型數據進行格式轉換，以獲取目標數據。