[發(fā)明專利]數(shù)據(jù)遷移方法及裝置、存儲介質(zhì)、電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202011103107.0
• 申請日: 2020-10-15
• 公開（公告）號: CN112286905A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 姚智博
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/245;G06F16/28
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開涉及數(shù)據(jù)處理領(lǐng)域，提供了一種數(shù)據(jù)遷移方法、數(shù)據(jù)遷移裝置、計算機存儲介質(zhì)、電子設(shè)備，其中，數(shù)據(jù)遷移方法包括：與遷移數(shù)據(jù)源、接收數(shù)據(jù)源建立通信連接；對遷移數(shù)據(jù)源中的全量數(shù)據(jù)進(jìn)行分片處理，得到多個數(shù)據(jù)分片；當(dāng)接收到數(shù)據(jù)遷移指令時，通過遷移集群分布式將多個數(shù)據(jù)分片遷移至接收數(shù)據(jù)源；從遷移數(shù)據(jù)源中獲取增量數(shù)據(jù)，根據(jù)增量數(shù)據(jù)的創(chuàng)建時間戳判斷增量數(shù)據(jù)是否為新增數(shù)據(jù)；當(dāng)增量數(shù)據(jù)是新增數(shù)據(jù)時，通過遷移集群將增量數(shù)據(jù)遷移至接收數(shù)據(jù)源中；當(dāng)增量數(shù)據(jù)不是新增數(shù)據(jù)時，通過遷移集群使用增量數(shù)據(jù)替換接收數(shù)據(jù)源中的目標(biāo)數(shù)據(jù)。本公開能夠在不影響遷移數(shù)據(jù)源的讀寫業(yè)務(wù)的前提下，提高數(shù)據(jù)的遷移速度，保證數(shù)據(jù)遷移過程的有序進(jìn)行。

技術(shù)領(lǐng)域

本公開涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)遷移方法、數(shù)據(jù)遷移裝置、計算機存儲介質(zhì)及電子設(shè)備。

背景技術(shù)

Elasticsearch(簡稱：ES集群)是一個基于Lucene庫的搜索引擎，它提供了一個分布式、支持多租戶的全文搜索引擎，并且，其查詢效率高、全文搜索性能好，對分布式的支持也較好，基于集群的環(huán)境可以方便橫向擴展，可以將海量的數(shù)據(jù)分散到多臺集群上去存儲和檢索。然而，隨著Elasticsearch的版本升級，所有使用者都面臨一個問題，就是如何在不影響業(yè)務(wù)讀寫的情況下，將數(shù)據(jù)快速準(zhǔn)確的從低版本集群遷移至高版本集群。

相關(guān)技術(shù)中，低版本集群的數(shù)據(jù)在向高版本集群遷移的過程中，只能逐步遷移，不能跨大版本(例如：從ES2.1直接遷移到ES6.3)，并且遷移完成之后集群需要重啟，若遷移中途失敗需要重新從頭開始遷移，因此，遷移時間跨度大且數(shù)據(jù)遷移效率低。

鑒于此，本領(lǐng)域亟需開發(fā)一種新的數(shù)據(jù)遷移方法及裝置。

需要說明的是，上述背景技術(shù)部分公開的信息僅用于加強對本公開的背景的理解。

發(fā)明內(nèi)容

本公開的目的在于提供一種數(shù)據(jù)遷移方法、數(shù)據(jù)遷移裝置、計算機存儲介質(zhì)及電子設(shè)備，進(jìn)而至少在一定程度上避免了相關(guān)技術(shù)中影響業(yè)務(wù)讀寫且遷移效率低的缺陷。

本公開的其他特性和優(yōu)點將通過下面的詳細(xì)描述變得顯然，或部分地通過本公開的實踐而習(xí)得。

根據(jù)本公開的第一方面，提供一種數(shù)據(jù)遷移方法，包括：與遷移數(shù)據(jù)源、接收數(shù)據(jù)源建立通信連接；對所述遷移數(shù)據(jù)源中的全量數(shù)據(jù)進(jìn)行分片處理，得到多個數(shù)據(jù)分片；當(dāng)接收到數(shù)據(jù)遷移指令時，通過遷移集群分布式將所述多個數(shù)據(jù)分片遷移至所述接收數(shù)據(jù)源；從所述遷移數(shù)據(jù)源中獲取增量數(shù)據(jù)，根據(jù)所述增量數(shù)據(jù)的創(chuàng)建時間戳判斷所述增量數(shù)據(jù)是否為新增數(shù)據(jù)；當(dāng)所述增量數(shù)據(jù)是新增數(shù)據(jù)時，通過所述遷移集群將所述增量數(shù)據(jù)遷移至所述接收數(shù)據(jù)源中；當(dāng)所述增量數(shù)據(jù)不是新增數(shù)據(jù)時，通過所述遷移集群使用所述增量數(shù)據(jù)替換所述接收數(shù)據(jù)源中的目標(biāo)數(shù)據(jù)；其中，所述目標(biāo)數(shù)據(jù)與所述增量數(shù)據(jù)的創(chuàng)建時間戳相同。

在本公開的示例性實施例中，所述對所述遷移數(shù)據(jù)源中的全量數(shù)據(jù)進(jìn)行分片處理，得到多個數(shù)據(jù)分片，包括：獲取所述遷移數(shù)據(jù)源的初始運行時間，將當(dāng)前時間與所述初始運行時間的時間跨度確定為目標(biāo)時間段；根據(jù)預(yù)設(shè)時長區(qū)間對所述目標(biāo)時間段進(jìn)行分片處理，得到多個時間分片；將在各所述時間分片內(nèi)、所述遷移數(shù)據(jù)源中存儲的數(shù)據(jù)作為一數(shù)據(jù)分片。

在本公開的示例性實施例中，每個數(shù)據(jù)分片對應(yīng)一個遷移子任務(wù)；所述當(dāng)接收到數(shù)據(jù)遷移指令時，通過遷移集群將所述多個數(shù)據(jù)分片遷移至所述接收數(shù)據(jù)源，包括：當(dāng)接收到數(shù)據(jù)遷移指令時，通過遷移集群分布式執(zhí)行所述遷移子任務(wù)，以將所述多個數(shù)據(jù)分片遷移至所述接收數(shù)據(jù)源。

在本公開的示例性實施例中，所述方法還包括：當(dāng)目標(biāo)數(shù)據(jù)分片對應(yīng)的待遷移數(shù)據(jù)量大于數(shù)據(jù)量閾值時，將所述目標(biāo)數(shù)據(jù)分片對應(yīng)的遷移子任務(wù)拆分為多個目標(biāo)子任務(wù)，以使得各所述目標(biāo)子任務(wù)對應(yīng)的待遷移數(shù)據(jù)量小于所述數(shù)據(jù)量閾值。