[發(fā)明專利]Elastic Search集群間數(shù)據(jù)遷移方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110563748.2
• 申請(qǐng)日: 2021-05-24
• 公開（公告）號(hào): CN113190533A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 梁曄華;張世瑛;趙吉昆;楊嘉欣
• 申請(qǐng)（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/22
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞;王濤

本發(fā)明提供了一種Elastic Search集群間數(shù)據(jù)遷移方法、裝置及系統(tǒng)，可用于人工智能技術(shù)領(lǐng)域，所述方法包括：將源ES集群中所有待遷移索引寫入預(yù)設(shè)遷移隊(duì)列中；根據(jù)遷移配置文件確定并行遷移的并行任務(wù)數(shù)量和遷移速度；啟動(dòng)所述并行任務(wù)數(shù)量對(duì)應(yīng)的數(shù)據(jù)遷移進(jìn)程根據(jù)所述遷移速度分別將所述并行任務(wù)數(shù)量對(duì)應(yīng)的待遷移索引傳輸至目標(biāo)ES集群，本發(fā)明可實(shí)現(xiàn)不同版本ES集群的數(shù)據(jù)批量遷移，提高ES集群的數(shù)據(jù)遷移效率。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種Elastic Search集群間數(shù)據(jù)遷移方法、裝置及系統(tǒng)。

背景技術(shù)

Elastic Search(簡(jiǎn)稱ES)是一個(gè)分布式、高擴(kuò)展、高實(shí)時(shí)的搜索與數(shù)據(jù)分析引擎，可用于存儲(chǔ)索引數(shù)據(jù)(一個(gè)索引相當(dāng)于傳統(tǒng)數(shù)據(jù)庫中的一張表)，為使用者提供更靈活的在線數(shù)據(jù)查詢服務(wù)。在使用ES時(shí)，常常會(huì)因?yàn)閿?shù)據(jù)備份、產(chǎn)品升級(jí)、集群搬遷等原因需要對(duì)ES集群中的索引數(shù)據(jù)進(jìn)行遷移。ES在用作查詢功能時(shí)可視為一個(gè)數(shù)據(jù)庫，但不具有一般關(guān)系型數(shù)據(jù)庫多表關(guān)聯(lián)、一致性和事務(wù)性等特性，在使用一般數(shù)據(jù)庫的文件傳輸方式進(jìn)行數(shù)據(jù)遷移時(shí)需要通過快照將數(shù)據(jù)進(jìn)行文件固定，并且不支持不同版本ES集群間數(shù)據(jù)遷移，因此無法解決產(chǎn)品升級(jí)時(shí)新舊ES集群間數(shù)據(jù)同步的問題。

發(fā)明內(nèi)容

本發(fā)明的一個(gè)目的在于提供一種Elastic Search集群間數(shù)據(jù)遷移方法，實(shí)現(xiàn)不同版本ES集群的數(shù)據(jù)批量遷移，提高ES集群的數(shù)據(jù)遷移效率。本發(fā)明的另一個(gè)目的在于提供一種Elastic Search集群間數(shù)據(jù)遷移裝置。本發(fā)明的再一個(gè)目的在于提供一種ElasticSearch集群間數(shù)據(jù)遷移系統(tǒng)。本發(fā)明的還一個(gè)目的在于提供一種計(jì)算機(jī)設(shè)備。本發(fā)明的還一個(gè)目的在于提供一種可讀介質(zhì)。

為了達(dá)到以上目的，本發(fā)明一方面公開了一種Elastic Search集群間數(shù)據(jù)遷移方法，包括：

將源ES集群中所有待遷移索引寫入預(yù)設(shè)遷移隊(duì)列中；

根據(jù)遷移配置文件確定并行遷移的并行任務(wù)數(shù)量和遷移速度；

啟動(dòng)所述并行任務(wù)數(shù)量對(duì)應(yīng)的數(shù)據(jù)遷移進(jìn)程根據(jù)所述遷移速度分別將所述并行任務(wù)數(shù)量對(duì)應(yīng)的待遷移索引傳輸至目標(biāo)ES集群。

優(yōu)選的，進(jìn)一步包括；

預(yù)先將源ES集群的IP地址寫入目標(biāo)ES集群的白名單中。

優(yōu)選的，進(jìn)一步包括預(yù)先對(duì)所述目標(biāo)ES集群中索引進(jìn)行備份的步驟：

建立與目標(biāo)ES集群中每個(gè)目標(biāo)索引對(duì)應(yīng)的備份索引；

將所述目標(biāo)索引中的數(shù)據(jù)復(fù)制至所述備份索引中。

優(yōu)選的，進(jìn)一步包括：

將目標(biāo)索引中的數(shù)據(jù)復(fù)制至所述備份索引的備份進(jìn)度寫入預(yù)設(shè)備份進(jìn)度表中；

當(dāng)所述備份進(jìn)度表中的備份進(jìn)度為備份完成時(shí)，通過數(shù)據(jù)遷移進(jìn)程將所述待遷移索引的待遷移數(shù)據(jù)遷移至所述目標(biāo)ES集群。

優(yōu)選的，所述分別將所述并行任務(wù)數(shù)量對(duì)應(yīng)的待遷移索引傳輸至目標(biāo)ES集群具體包括：

獲取與所述并行任務(wù)數(shù)量對(duì)應(yīng)的待遷移索引的待遷移數(shù)據(jù)；

根據(jù)預(yù)設(shè)加密規(guī)則對(duì)所述待遷移數(shù)據(jù)進(jìn)行加密；

將加密后的待遷移數(shù)據(jù)傳輸至所述目標(biāo)ES集群。

優(yōu)選的，進(jìn)一步包括：

根據(jù)進(jìn)程配置管理文件確定節(jié)流配置信息；

根據(jù)所述節(jié)流配置信息調(diào)整并行任務(wù)數(shù)量和遷移速度。

優(yōu)選的，進(jìn)一步包括：

將待遷移索引傳輸至目標(biāo)ES集群的遷移結(jié)果寫入預(yù)設(shè)結(jié)果表中；