[發(fā)明專利]一種高速多路網(wǎng)絡(luò)數(shù)據(jù)遷移方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110030467.0
• 申請(qǐng)日: 2021-01-11
• 公開(kāi)（公告）號(hào): CN112699080A
• 公開(kāi)（公告）日: 2021-04-23
• 發(fā)明（設(shè)計(jì)）人: 鄧金祥;胡勇;謝宗明;王煒;代先勇;谷峰;劉洋;田曉東;王念
• 申請(qǐng)（專利權(quán)）人: 成都深思科技有限公司
• 主分類號(hào): G06F16/11
• 分類號(hào): G06F16/11;G06F16/901
• 代理公司: 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 11340
• 代理人: 許馳

本發(fā)明涉及一種高速多路網(wǎng)絡(luò)流量數(shù)據(jù)遷移方法，所述數(shù)據(jù)遷移方法包括：登錄需要遷移數(shù)據(jù)的ES集群所在系統(tǒng)根據(jù)抽取規(guī)則條件抽取索引文件并配置好相應(yīng)信息；將抽取出的待遷移數(shù)據(jù)索引文件按照集群服務(wù)器可用數(shù)量進(jìn)行均分，將分割好的索引文件分片下發(fā)到數(shù)據(jù)遷入集群中，集群再將索引文件分片意義對(duì)應(yīng)的分配給集群中的每一個(gè)服務(wù)器；每個(gè)服務(wù)器根據(jù)分發(fā)到的索引文件分片從原始集群中提取對(duì)應(yīng)數(shù)據(jù)，接收遷入數(shù)據(jù)的集群服務(wù)器接收數(shù)據(jù)，并重新設(shè)置數(shù)據(jù)偏移位置后保存；遷移數(shù)據(jù)完成后反饋遷移數(shù)據(jù)狀態(tài)。本發(fā)明的優(yōu)點(diǎn)在于：將索引分發(fā)到不同服務(wù)器上，每個(gè)服務(wù)器獨(dú)立提取原始數(shù)據(jù)，提高提取數(shù)據(jù)速度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種高速多路網(wǎng)絡(luò)數(shù)據(jù)遷移方法。

背景技術(shù)

隨著現(xiàn)代信息化、數(shù)字化技術(shù)的不斷發(fā)展，需要采集的數(shù)據(jù)越來(lái)越多，產(chǎn)生數(shù)據(jù)的速度也越老越快，存儲(chǔ)的數(shù)據(jù)量不斷翻倍；當(dāng)設(shè)備需要升級(jí)或數(shù)據(jù)需要備份的時(shí)候，就需要對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行遷移；傳統(tǒng)的數(shù)據(jù)遷移是僅對(duì)文件進(jìn)行拷貝，會(huì)面臨IO口使用瓶頸、遷移后數(shù)據(jù)重新分析與創(chuàng)建等問(wèn)題，效率極低；因此，急需一種更好更高效的網(wǎng)絡(luò)流量數(shù)據(jù)遷移解決方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)，提供了一種高速多路網(wǎng)絡(luò)流量數(shù)據(jù)遷移方法，解決了現(xiàn)有數(shù)據(jù)遷移方式存在的不足。

本發(fā)明的目的通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：一種高速多路網(wǎng)絡(luò)流量數(shù)據(jù)遷移方法，所述數(shù)據(jù)遷移方法包括：

登錄需要遷移數(shù)據(jù)的ES集群所在系統(tǒng)根據(jù)抽取規(guī)則條件抽取索引文件并配置好相應(yīng)信息；

將抽取出的待遷移數(shù)據(jù)索引文件按照集群服務(wù)器可用數(shù)量進(jìn)行均分，將分割好的索引文件分片下發(fā)到數(shù)據(jù)遷入集群中，集群再將索引文件分片意義對(duì)應(yīng)的分配給集群中的每一個(gè)服務(wù)器；

每個(gè)服務(wù)器根據(jù)分發(fā)到的索引文件分片從原始集群中提取對(duì)應(yīng)數(shù)據(jù)，接收遷入數(shù)據(jù)的集群服務(wù)器接收數(shù)據(jù)，并重新設(shè)置數(shù)據(jù)偏移位置后保存；

遷移數(shù)據(jù)完成后反饋遷移數(shù)據(jù)狀態(tài)。

進(jìn)一步地，所述登錄需要遷移數(shù)據(jù)的ES集群所在系統(tǒng)根據(jù)抽取規(guī)則條件抽取索引文件并配置好相應(yīng)信息包括：

用戶登錄要遷移數(shù)據(jù)的ES集群所在系統(tǒng)，設(shè)定抽取規(guī)則條件，執(zhí)行抽取查詢，抽取出待遷移數(shù)據(jù)的牽引文件；

配置需要遷入數(shù)據(jù)的ES集群IP、端口和登錄密碼，并驗(yàn)證配置信息設(shè)置是否輸入正確。

進(jìn)一步地，所述將抽取出的待遷移數(shù)據(jù)索引文件按照集群服務(wù)器可用數(shù)量進(jìn)行均分包括：

根據(jù)索引分割大?。剿饕龜?shù)量/(可用服務(wù)器數(shù)量+1)的分割方式分割索引文件；

從第一個(gè)分片開(kāi)始遍歷，將根據(jù)分割方式計(jì)算后的余數(shù)索引文件逐個(gè)放入，直到全部劃入分片中。

進(jìn)一步地，所述每個(gè)服務(wù)器根據(jù)分發(fā)到的索引文件分片從原始集群中提取對(duì)應(yīng)數(shù)據(jù)包括：

A1、讀取索引文件，根據(jù)索引文件偏移提取二級(jí)索引數(shù)據(jù)；

A2、循環(huán)讀取二級(jí)索引數(shù)據(jù)，根據(jù)二級(jí)索引偏移提取原始數(shù)據(jù)；

A3、將原始數(shù)據(jù)、二級(jí)索引和一級(jí)索引依次分別發(fā)送到待遷入數(shù)據(jù)的集群服務(wù)器上；

A4、發(fā)送數(shù)據(jù)完成后，再讀取下一條索引文件，并重復(fù)步驟A1-A3，直到索引文件處理完為止；

A5、刪除分發(fā)到的索引文件，返回處理狀態(tài)給當(dāng)前集群系統(tǒng)。

進(jìn)一步地，所述接收遷入數(shù)據(jù)的集群服務(wù)器接收數(shù)據(jù)，并重新設(shè)置數(shù)據(jù)偏移位置后保存包括：

接收原始數(shù)據(jù)并保存數(shù)據(jù)；

接收二級(jí)索引數(shù)據(jù)，根據(jù)原始數(shù)據(jù)保存偏移，修改二級(jí)索引偏移；