[發(fā)明專利]數(shù)據(jù)導(dǎo)入方法、裝置、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010625565.4
• 申請(qǐng)日: 2020-06-30
• 公開（公告）號(hào): CN111767287A
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計(jì)）人: 陳文浩
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/25;G06F16/28;G06F16/27;G06F16/182
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 薛福玲

1.一種數(shù)據(jù)導(dǎo)入方法，其特征在于，所述數(shù)據(jù)導(dǎo)入方法包括如下步驟：

將待進(jìn)行數(shù)據(jù)導(dǎo)入的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，以獲取目標(biāo)數(shù)據(jù)；

對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行分類處理，以獲取多個(gè)劃分?jǐn)?shù)據(jù)，并將各所述劃分?jǐn)?shù)據(jù)依次分配至各所述劃分?jǐn)?shù)據(jù)對(duì)應(yīng)的分區(qū)表；

依次對(duì)具有所述劃分?jǐn)?shù)據(jù)的分區(qū)表創(chuàng)建索引，以獲取具有所述索引的各目標(biāo)分區(qū)表，對(duì)各所述目標(biāo)分區(qū)表進(jìn)行快照處理，以獲取各所述目標(biāo)分區(qū)表對(duì)應(yīng)的目標(biāo)快照；

將各所述目標(biāo)快照發(fā)送至所述原始數(shù)據(jù)對(duì)應(yīng)的目標(biāo)集群，其中，所述目標(biāo)集群依次對(duì)接收的各所述目標(biāo)快照進(jìn)行快照恢復(fù)。

2.如權(quán)利要求1所述的數(shù)據(jù)導(dǎo)入方法，其特征在于，所述對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行分類處理，以獲取多個(gè)劃分?jǐn)?shù)據(jù)的步驟，包括：

獲取所述目標(biāo)數(shù)據(jù)中的所有子數(shù)據(jù)，基于預(yù)設(shè)的數(shù)據(jù)轉(zhuǎn)換方式將各所述子數(shù)據(jù)轉(zhuǎn)換為數(shù)值，并檢測(cè)各所述數(shù)值中是否存在大于預(yù)設(shè)固定值的目標(biāo)數(shù)值；

若存在，則對(duì)各所述數(shù)值進(jìn)行求余處理，并將所述求余處理的求余結(jié)果作為劃分?jǐn)?shù)據(jù)。

3.如權(quán)利要求2所述的數(shù)據(jù)導(dǎo)入方法，其特征在于，所述若存在，則對(duì)各所述數(shù)值進(jìn)行求余處理，并將所述求余處理的求余結(jié)果作為劃分?jǐn)?shù)據(jù)的步驟之后，包括：

基于所述原始數(shù)據(jù)對(duì)應(yīng)的目標(biāo)集群的可用資源確定待創(chuàng)建的索引的索引數(shù)量，并構(gòu)建和所述索引數(shù)量相同數(shù)量的分區(qū)表，確定各所述分區(qū)表的取值范圍，依次遍歷各所述劃分?jǐn)?shù)據(jù)，將當(dāng)前遍歷的當(dāng)前劃分?jǐn)?shù)據(jù)和各所述取值范圍進(jìn)行匹配；

若在各所述取值范圍中存在和所述當(dāng)前劃分?jǐn)?shù)據(jù)匹配的目標(biāo)取值范圍，則將所述目標(biāo)取值范圍對(duì)應(yīng)的分區(qū)表作為所述當(dāng)前劃分?jǐn)?shù)據(jù)對(duì)應(yīng)的分區(qū)表，直至各所述劃分?jǐn)?shù)據(jù)遍歷完成。

4.如權(quán)利要求1所述的數(shù)據(jù)導(dǎo)入方法，其特征在于，所述將各所述劃分?jǐn)?shù)據(jù)依次分配至各所述劃分?jǐn)?shù)據(jù)對(duì)應(yīng)的分區(qū)表的步驟，包括：

將各所述劃分?jǐn)?shù)據(jù)依次分配至各所述劃分?jǐn)?shù)據(jù)對(duì)應(yīng)的分區(qū)表，依次遍歷各所述分區(qū)表，并對(duì)當(dāng)前遍歷的當(dāng)前分區(qū)表中預(yù)設(shè)的歸約任務(wù)個(gè)數(shù)進(jìn)行求余處理，根據(jù)所述求余處理結(jié)果將所述當(dāng)前分區(qū)表中的劃分?jǐn)?shù)據(jù)分配至各所述歸約任務(wù)中，直至各所述分區(qū)表遍歷完成。

5.如權(quán)利要求1所述的數(shù)據(jù)導(dǎo)入方法，其特征在于，所述對(duì)各所述目標(biāo)分區(qū)表進(jìn)行快照處理，以獲取各所述目標(biāo)分區(qū)表對(duì)應(yīng)的目標(biāo)快照的步驟，包括：

依次遍歷各所述目標(biāo)分區(qū)表，獲取當(dāng)前遍歷的當(dāng)前目標(biāo)分區(qū)表中的多個(gè)數(shù)據(jù)段，并根據(jù)各所述數(shù)據(jù)段的屬性進(jìn)行合并處理，以獲取目標(biāo)數(shù)據(jù)段，并將具有所述目標(biāo)數(shù)據(jù)段的當(dāng)前目標(biāo)分區(qū)表進(jìn)行快照處理，以獲取所述當(dāng)前目標(biāo)分區(qū)表對(duì)應(yīng)的目標(biāo)快照，直至各所述目標(biāo)分區(qū)表遍歷完成。

6.如權(quán)利要求1所述的數(shù)據(jù)導(dǎo)入方法，其特征在于，所述將各所述目標(biāo)快照發(fā)送至所述原始數(shù)據(jù)對(duì)應(yīng)的目標(biāo)集群的步驟，包括：

將各所述目標(biāo)快照發(fā)送至HDFS，并通過(guò)所述HDFS將所述目標(biāo)快照發(fā)送至所述原始數(shù)據(jù)對(duì)應(yīng)的目標(biāo)集群，其中，所述目標(biāo)集群依次對(duì)接收的各所述目標(biāo)快照進(jìn)行快照恢復(fù)，以獲取各所述目標(biāo)快照中的快照數(shù)據(jù)和索引，并檢測(cè)各所述快照數(shù)據(jù)是否和所述目標(biāo)集群中的歷史數(shù)據(jù)匹配，若均不匹配，則對(duì)各所述索引進(jìn)行合并處理，并將各所述快照數(shù)據(jù)寫入至所述目標(biāo)集群。

7.如權(quán)利要求1-6任一項(xiàng)所述的數(shù)據(jù)導(dǎo)入方法，其特征在于，所述將待進(jìn)行數(shù)據(jù)導(dǎo)入的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，以獲取目標(biāo)數(shù)據(jù)的步驟，包括：

將待進(jìn)行數(shù)據(jù)導(dǎo)入的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，以獲取整型數(shù)據(jù)，并根據(jù)預(yù)設(shè)格式對(duì)所述整型數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換，以獲取目標(biāo)數(shù)據(jù)。