[發明專利]ES數據遷移系統及遷移方法

在審

• 申請號: 202110659884.1
• 申請日: 2021-06-15
• 公開（公告）號: CN113282537A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 鄧金祥;周恩亞;馮園園;孫超;馮凱斌;吳洋
• 申請（專利權）人: 成都深思科技有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/14
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 王大剛

本發明公開了ES數據遷移系統及遷移方法，涉及數據遷移領域，系統包括數據導出模塊、數據儲存模塊、數據導入模塊、遷移導出配置模塊和遷移導入配置模塊；方法包括數據導出模塊導出待遷移ES集群的數據并生成遷移文件，數據儲存模塊儲存遷移文件，數據導入模塊將遷移文件由儲存模塊導入到目標ES集群；ES數據遷移系統提供了一個穩定且可靠的方式對ES數據進行遷移，導出或導入的過程可自動進行，無需人工干預，導出后的遷移文件進行存儲，可多次導入不同的ES集群；提供了一種根據目標ES集群進行數據修改的功能，可以根據實際的需要，通過遷移導出配置模塊修改導出數據的索引名的前綴、修改指定字段的名稱或根據一定的規則修改指定字段的值。

技術領域

本發明涉及數據遷移領域，尤其涉及一種ES數據遷移系統及遷移方法。

背景技術

ElasticSearch(下文簡稱ES)是一種高速可擴展的數據搜索引擎。提供了大量簡單易用的RESTful接口，可以處理PB級的結構化或非結構化數據，ES集群可以很方便的進行橫向擴展，但是現有市場上沒有關于不同ES集群之間進行數據遷移的方法。

發明內容

本發明的目的就在于為了解決上述問題設計了一種ES數據遷移系統及遷移方法。

本發明通過以下技術方案來實現上述目的：

ES數據遷移系統，包括：

數據導出模塊；數據導出模塊用于導出待遷移ES集群的數據并生成遷移文件；

數據儲存模塊；數據儲存模塊用于儲存遷移文件；

數據導入模塊；數據導入模塊用于將數據儲存模塊的遷移文件導入到目標ES集群。

ES數據遷移方法，包括以下步驟：

數據導出模塊導出待遷移的ES集群中的數據并生成遷移文件；

數據儲存模塊儲存遷移文件；

數據導入模塊將遷移文件由儲存模塊導入到目標ES集群。

本發明的有益效果在于：ES數據遷移系統提供了一個穩定且可靠的方式對ES數據進行遷移，導出或導入的過程可自動進行，無需人工干預，導出后的遷移文件進行存儲，可多次導入不同的ES集群；提供了一種根據目標ES集群進行數據修改的功能，可以根據實際的需要，通過遷移導出配置模塊修改導出數據的索引名的前綴、修改指定字段的名稱或根據一定的規則修改指定字段的值。

附圖說明

圖1是本發明ES數據遷移系統的數據流程圖；

圖2是本發明ES數據遷移系統中數據導出模塊的數據流程圖；

圖3是本發明ES數據遷移系統中數據導入模塊的數據流程圖。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的組件可以以各種不同的配置來布置和設計。

因此，以下對在附圖中提供的本發明的實施例的詳細描述并非旨在限制要求保護的本發明的范圍，而是僅僅表示本發明的選定實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。