[發(fā)明專利]一種數(shù)據(jù)遷移方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201810071341.6
• 申請(qǐng)日: 2018-01-25
• 公開（公告）號(hào): CN110109892B
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 李冰杰;王輝
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/22;G06F16/25
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;馬敬

1.一種數(shù)據(jù)遷移方法，其特征在于，所述方法包括：

通過分布式內(nèi)存組件Spark讀取Solr系統(tǒng)中已存儲(chǔ)的Solr數(shù)據(jù)；

獲取已配置的Solr數(shù)據(jù)與目標(biāo)數(shù)據(jù)庫表結(jié)構(gòu)的對(duì)應(yīng)關(guān)系；

根據(jù)已配置的過濾規(guī)則，對(duì)所述Solr數(shù)據(jù)進(jìn)行過濾處理；

根據(jù)所述Solr數(shù)據(jù)與目標(biāo)數(shù)據(jù)庫表結(jié)構(gòu)的對(duì)應(yīng)關(guān)系，將所述Solr數(shù)據(jù)加載到所述目標(biāo)數(shù)據(jù)庫表中；

所述通過分布式內(nèi)存組件Spark讀取Solr系統(tǒng)中已存儲(chǔ)的Solr數(shù)據(jù)的步驟包括：

根據(jù)已配置的Solr數(shù)據(jù)存儲(chǔ)路徑，通過Spark parallelize讀取Solr系統(tǒng)Lucene文件中的Solr數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述目標(biāo)數(shù)據(jù)庫為Hbase數(shù)據(jù)庫時(shí)，所述根據(jù)所述Solr數(shù)據(jù)與目標(biāo)數(shù)據(jù)庫表結(jié)構(gòu)的對(duì)應(yīng)關(guān)系，將所述Solr數(shù)據(jù)加載到所述目標(biāo)數(shù)據(jù)庫表中的步驟包括：

根據(jù)所述Solr數(shù)據(jù)與目標(biāo)數(shù)據(jù)庫表結(jié)構(gòu)的對(duì)應(yīng)關(guān)系，生成HFile文件；

通過Hbase BulkLoad方式加載所述HFile文件到Hbase數(shù)據(jù)庫表中。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述Solr數(shù)據(jù)與目標(biāo)數(shù)據(jù)庫表結(jié)構(gòu)的對(duì)應(yīng)關(guān)系，將所述Solr數(shù)據(jù)加載到所述目標(biāo)數(shù)據(jù)庫表中之前，所述方法還包括：

根據(jù)已配置的Solr數(shù)據(jù)的字段信息，將所述Solr數(shù)據(jù)轉(zhuǎn)化為彈性分布式數(shù)據(jù)集RDD。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過分布式內(nèi)存組件Spark讀取Solr系統(tǒng)中已存儲(chǔ)的Solr數(shù)據(jù)之前，所述方法還包括：

檢測(cè)預(yù)先配置的配置文件是否正確；

所述通過分布式內(nèi)存組件Spark讀取Solr系統(tǒng)中已存儲(chǔ)的Solr數(shù)據(jù)的步驟包括：

當(dāng)所述配置文件正確時(shí)，通過分布式內(nèi)存組件Spark讀取Solr系統(tǒng)中已存儲(chǔ)的Solr數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述檢測(cè)預(yù)先配置的配置文件是否正確的步驟包括：

檢測(cè)已配置的Solr數(shù)據(jù)存儲(chǔ)路徑是否正確；

檢測(cè)是否存在所述目標(biāo)數(shù)據(jù)庫表；

檢測(cè)所述Solr數(shù)據(jù)與目標(biāo)數(shù)據(jù)庫表結(jié)構(gòu)的對(duì)應(yīng)關(guān)系的格式是否正確；

檢測(cè)數(shù)據(jù)轉(zhuǎn)換規(guī)則格式是否正確。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述Solr數(shù)據(jù)與目標(biāo)數(shù)據(jù)庫表結(jié)構(gòu)的對(duì)應(yīng)關(guān)系，將所述Solr數(shù)據(jù)加載到所述目標(biāo)數(shù)據(jù)庫表中之前，所述方法還包括：

根據(jù)已配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則，對(duì)所述Solr數(shù)據(jù)進(jìn)行對(duì)應(yīng)的處理；其中，所述數(shù)據(jù)轉(zhuǎn)換規(guī)則包括以下至少一項(xiàng)：默認(rèn)值規(guī)則、映射規(guī)則。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，當(dāng)所述數(shù)據(jù)轉(zhuǎn)換規(guī)則包括：默認(rèn)值規(guī)則和映射規(guī)則時(shí)，所述根據(jù)已配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則，對(duì)所述Solr數(shù)據(jù)進(jìn)行對(duì)應(yīng)的處理的步驟可以包括：

針對(duì)所述Solr數(shù)據(jù)中的每個(gè)字段，當(dāng)該字段不存在值時(shí)，將該字段設(shè)置為默認(rèn)值；

針對(duì)所述Solr數(shù)據(jù)中的每個(gè)字段，根據(jù)已配置的映射規(guī)則，將該字段映射為對(duì)應(yīng)的目標(biāo)字段；

所述根據(jù)已配置的過濾規(guī)則，對(duì)所述Solr數(shù)據(jù)進(jìn)行過濾處理，包括：

針對(duì)所述Solr數(shù)據(jù)中的每個(gè)字段，當(dāng)該字段滿足預(yù)設(shè)過濾條件時(shí)，過濾該字段。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述預(yù)設(shè)過濾條件包括：

將字段值為預(yù)設(shè)值的字段過濾；或

將字段長度滿足預(yù)設(shè)條件的字段過濾。

9.根據(jù)權(quán)利要求1-8任一項(xiàng)所述的方法，其特征在于，所述將所述Solr數(shù)據(jù)加載到所述目標(biāo)數(shù)據(jù)庫表中之后，所述方法還包括：

判斷所述Solr數(shù)據(jù)是否加載成功；如果未成功，返回執(zhí)行所述通過分布式內(nèi)存組件Spark讀取Solr系統(tǒng)中已存儲(chǔ)的Solr數(shù)據(jù)的步驟。