[發(fā)明專利]一種數據遷移方法、裝置及電子設備

有效

• 申請?zhí)枺?/td>: 201810071341.6
• 申請日: 2018-01-25
• 公開（公告）號: CN110109892B
• 公開（公告）日: 2021-09-10
• 發(fā)明（設計）人: 李冰杰;王輝
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/25
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;馬敬

本發(fā)明實施例提供了一種數據遷移方法、裝置及電子設備，所述方法包括：通過分布式內存組件Spark讀取Solr系統(tǒng)中已存儲的Solr數據；獲取已配置的Solr數據與目標數據庫表結構的對應關系；根據所述Solr數據與目標數據庫表結構的對應關系，將所述Solr數據加載到所述目標數據庫表中。本發(fā)明實施例中，采用分布式內存組件Spark讀取Solr系統(tǒng)中已存儲的Solr數據，進而將讀取的Solr數據加載到另一數據庫中，Solr數據遷移過程中和Solr服務無交互，從而不影響Solr服務的正常使用。

技術領域

本發(fā)明涉及計算機技術領域，特別是涉及一種數據遷移方法、裝置及電子設備。

背景技術

Solr是一種獨立的企業(yè)級搜索系統(tǒng)，可通過對數據建立索引提供索引服務，同時可以用作存儲數據使用。在Solr系統(tǒng)升級、存儲組件更換時，需要將Solr中存儲的數據遷移新的存儲組件中，如Hbase數據庫，由此需要一種用于Solr系統(tǒng)的數據遷移方法。

數據遷移是指將數據由一個存儲系統(tǒng)遷移到另一個存儲系統(tǒng)的過程。已知的遷移Solr系統(tǒng)中數據的方法為，通過Solr提供的http接口讀取出數據，然后將數據存儲到另一個存儲系統(tǒng)中。然而，這種方法在數據讀取過程中使用了Http接口，導致影響了Solr服務的正常使用。

發(fā)明內容

本發(fā)明實施例的目的在于提供一種數據遷移方法、裝置及電子設備，以在遷移Solr系統(tǒng)中的數據時，不影響Solr服務的正常使用。具體技術方案如下：

第一方面，本發(fā)明實施例提供了一種數據遷移方法，所述方法包括：

通過分布式內存組件Spark讀取Solr系統(tǒng)中已存儲的Solr數據；

獲取已配置的Solr數據與目標數據庫表結構的對應關系；

根據所述Solr數據與目標數據庫表結構的對應關系，將所述Solr數據加載到所述目標數據庫表中。

可選的，當所述目標數據庫為Hbase數據庫時，所述根據所述Solr數據與目標數據庫表結構的對應關系，將所述Solr數據加載到所述目標數據庫表中的步驟包括：

根據所述Solr數據與目標數據庫表結構的對應關系，生成HFile文件；

通過Hbase BulkLoad方式加載所述HFile文件到Hbase數據庫表中。

可選的，所述根據所述Solr數據與目標數據庫表結構的對應關系，將所述Solr數據加載到所述目標數據庫表中之前，所述方法還包括：

根據已配置的Solr數據的字段信息，將所述Solr數據轉化為彈性分布式數據集RDD。

可選的，所述通過分布式內存組件Spark讀取Solr系統(tǒng)中已存儲的Solr數據之前，所述方法還包括：

檢測預先配置的配置文件是否正確；

所述通過分布式內存組件Spark讀取Solr系統(tǒng)中已存儲的Solr數據的步驟包括：

當所述配置文件正確時，通過分布式內存組件Spark讀取Solr系統(tǒng)中已存儲的Solr數據。

可選的，所述檢測預先配置的配置文件是否正確的步驟包括：

檢測已配置的Solr數據存儲路徑是否正確；

檢測是否存在所述目標數據庫表；

檢測所述Solr數據與目標數據庫表結構的對應關系的格式是否正確；

檢測數據轉換規(guī)則格式是否正確。

可選的，所述通過分布式內存組件Spark讀取Solr系統(tǒng)中已存儲的Solr數據的步驟包括：