[發(fā)明專利]基于網(wǎng)頁界面的跨集群數(shù)據(jù)遷移方法和裝置

有效

• 申請?zhí)枺?/td>: 202010159783.3
• 申請日: 2020-03-09
• 公開（公告）號: CN111367889B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 張世瑛;趙吉昆;梁曄華;楊嘉欣
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F3/0481;G06F3/0484
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 張琛

本公開提供了一種基于網(wǎng)頁界面的跨集群數(shù)據(jù)遷移方法，包括：響應(yīng)于用戶請求，展示網(wǎng)頁界面，網(wǎng)頁界面中包括遷移信息輸入框、執(zhí)行遷移按鈕和結(jié)果展示框，響應(yīng)于用戶觸發(fā)執(zhí)行遷移按鈕，從遷移信息輸入框中獲取源數(shù)據(jù)庫集群信息、目標(biāo)數(shù)據(jù)庫集群信息以及表名稱信息，基于源數(shù)據(jù)庫集群信息、目標(biāo)數(shù)據(jù)庫集群信息以及表名稱信息，確定源數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表，以及將源數(shù)據(jù)表中的數(shù)據(jù)遷移至目標(biāo)數(shù)據(jù)表中，并在結(jié)果展示框中展示源數(shù)據(jù)表中的數(shù)據(jù)的遷移進(jìn)度。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，更具體地，涉及一種基于網(wǎng)頁界面的跨集群數(shù)據(jù)遷移方法、裝置、計(jì)算機(jī)系統(tǒng)和計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

隨著網(wǎng)絡(luò)時代的快速發(fā)展，大數(shù)據(jù)越來越多地應(yīng)用于工作和生活等諸多場景，為了更好的存儲大數(shù)據(jù)，各種各樣的數(shù)據(jù)庫應(yīng)運(yùn)而生。例如，Hbase數(shù)據(jù)庫是一種高可靠性、高性能、面向列、可伸縮的分布式列式存儲系統(tǒng)。利用Hbase技術(shù)可以在服務(wù)器上搭建大規(guī)模結(jié)構(gòu)化的存儲集群，由于Hbase技術(shù)在處理大數(shù)據(jù)問題上具有較大的優(yōu)勢，越來越多地企業(yè)機(jī)構(gòu)選用Hbase數(shù)據(jù)庫集群對數(shù)據(jù)進(jìn)行存儲和處理。

在實(shí)現(xiàn)本發(fā)明構(gòu)思的過程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問題：對于數(shù)據(jù)庫的操作通常需要業(yè)務(wù)人員熟練掌握數(shù)據(jù)庫的使用語句，對業(yè)務(wù)人員的技術(shù)背景要求過高，且操作不夠便捷。

發(fā)明內(nèi)容

有鑒于此，本公開提供了一種基于網(wǎng)頁界面的跨集群數(shù)據(jù)遷移方法、裝置、計(jì)算機(jī)系統(tǒng)和計(jì)算機(jī)可讀介質(zhì)。

本公開的一個方面提供了一種基于網(wǎng)頁界面的跨集群數(shù)據(jù)遷移方法，包括：響應(yīng)于用戶請求，展示網(wǎng)頁界面，所述網(wǎng)頁界面中包括遷移信息輸入框、執(zhí)行遷移按鈕和結(jié)果展示框，響應(yīng)于用戶觸發(fā)所述執(zhí)行遷移按鈕，從所述遷移信息輸入框中獲取源數(shù)據(jù)庫集群信息、目標(biāo)數(shù)據(jù)庫集群信息以及表名稱信息，基于所述源數(shù)據(jù)庫集群信息、目標(biāo)數(shù)據(jù)庫集群信息以及表名稱信息，確定源數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表，以及將所述源數(shù)據(jù)表中的數(shù)據(jù)遷移至所述目標(biāo)數(shù)據(jù)表中，并在所述結(jié)果展示框中展示所述源數(shù)據(jù)表中的數(shù)據(jù)的遷移進(jìn)度。

根據(jù)本公開的實(shí)施例，所述將所述源數(shù)據(jù)表中的數(shù)據(jù)遷移至所述目標(biāo)數(shù)據(jù)表中，包括：從所述源數(shù)據(jù)表中讀取數(shù)據(jù)并寫入中間節(jié)點(diǎn)中，以及從所述中間節(jié)點(diǎn)中讀取數(shù)據(jù)并寫入目標(biāo)數(shù)據(jù)表中。

根據(jù)本公開的實(shí)施例，所述從所述中間節(jié)點(diǎn)中讀取數(shù)據(jù)并寫入目標(biāo)數(shù)據(jù)表中，包括：按行讀取所述中間節(jié)點(diǎn)中的數(shù)據(jù)，基于所述目標(biāo)數(shù)據(jù)表的表結(jié)構(gòu)對讀取的每行數(shù)據(jù)進(jìn)行校驗(yàn)，以及將通過所述校驗(yàn)的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)表中。

根據(jù)本公開的實(shí)施例，所述將通過所述校驗(yàn)的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)表中，包括：將通過所述校驗(yàn)的數(shù)據(jù)存儲在至少一個分組中，將所述至少一個分組中的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)表中。

根據(jù)本公開的實(shí)施例，通過多個校驗(yàn)線程中的每個校驗(yàn)線程并發(fā)執(zhí)行：所述按行讀取所述中間節(jié)點(diǎn)中的數(shù)據(jù)，基于所述目標(biāo)數(shù)據(jù)表的表結(jié)構(gòu)對讀取的每行數(shù)據(jù)進(jìn)行校驗(yàn)，將通過所述校驗(yàn)的數(shù)據(jù)存儲在至少一個分組中的操作。

根據(jù)本公開的實(shí)施例，所述將所述至少一個分組中的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)表中，包括：通過至少一個入庫線程將所述至少一個分組中的數(shù)據(jù)導(dǎo)入所述目標(biāo)數(shù)據(jù)表的接口，通過所述接口將所述通過校驗(yàn)的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)表中。

根據(jù)本公開的實(shí)施例，其中，所述網(wǎng)頁界面中還包括遷移秘鑰輸入框。所述方法還包括：對所述遷移秘鑰輸入框中的秘鑰進(jìn)行校驗(yàn)，在所述秘鑰通過校驗(yàn)的情況下，將所述源數(shù)據(jù)表中的數(shù)據(jù)遷移至所述目標(biāo)數(shù)據(jù)表中。

根據(jù)本公開的實(shí)施例，所述遷移進(jìn)度包括以下至少一種：所述源數(shù)據(jù)表中的數(shù)據(jù)總行數(shù)，已完成遷移的數(shù)據(jù)行數(shù)，遷移失敗的數(shù)據(jù)行數(shù)，已執(zhí)行時長，或者剩余執(zhí)行時長。