[發(fā)明專利]遷移腳本構建方法、裝置、計算機設備及可讀存儲介質

在審

• 申請?zhí)枺?/td>: 202111526577.2
• 申請日: 2021-12-14
• 公開（公告）號: CN114168532A
• 公開（公告）日: 2022-03-11
• 發(fā)明（設計）人: 韓曉翠
• 申請（專利權）人: 平安養(yǎng)老保險股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/182
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 黃勝波

本發(fā)明涉及云存儲技術領域，公開了一種遷移腳本構建方法、裝置、計算機設備及可讀存儲介質，包括：獲取第一集群中保存集群數據的遷出地址，及獲取第二集群中用于接收集群數據的遷入地址，構建遷出地址和遷入地址之間的映射關系；提取第一集群中的管理腳本文件，根據映射關系將管理腳本文件中的遷出地址修改為遷入地址，并將遷出地址作為遷入地址的映射標注，使管理腳本文件轉為遷移腳本文件；將遷移腳本文件部署到第二集群中，以作為第二集群的遷移腳本。本發(fā)明避免了當前因人工遷移數據，導致遷移效率低下，數據遷移錯誤率較高的情況發(fā)生。

技術領域

本發(fā)明涉及云存儲技術領域，尤其涉及一種遷移腳本構建方法、裝置、計算機設備及可讀存儲介質。

背景技術

跨集群遷移數據,操作其中涉及到數據遷移,metastore遷移,hive版本升級等問題。目前集群數據遷移主要是對原始數據原封不動地進行遷移，方案大多數采用的是HiveExport等將數據文本導出到指定的HDFS目錄，再使用諸如hadoop distcp命令將數據文本傳輸到新的集群，最后使用Hive Import將數據文本導入到hive表中，修改對應數據庫在hdfs上的存儲路徑。發(fā)明人意識到，現有技術因需要人工修改存儲路徑且數據量龐大，將會導致數據遷移效率低下，錯誤率高的問題發(fā)生。

發(fā)明內容

本發(fā)明的目的是提供一種遷移腳本構建方法、裝置、計算機設備及可讀存儲介質，用于解決現有技術存在的因需要人工修改存儲路徑且數據量龐大，導致數據遷移效率低下，錯誤率高發(fā)生的問題。

為實現上述目的，本發(fā)明提供一種遷移腳本構建方法，所述遷移腳本用于將第一集群的數據遷移至第二集群，包括：

獲取所述第一集群中保存集群數據的遷出地址，及獲取所述第二集群中用于接收所述集群數據的遷入地址，構建所述遷出地址和所述遷入地址之間的映射關系；

提取所述第一集群中的管理腳本文件，根據所述映射關系將所述管理腳本文件中的遷出地址修改為遷入地址，并將所述遷出地址作為所述遷入地址的映射標注，使所述管理腳本文件轉為遷移腳本文件；

將所述遷移腳本文件部署到所述第二集群中，以作為所述第二集群的所述遷移腳本。

上述方案中，所述獲取所述第一集群中保存集群數據的遷出地址，及獲取所述第二集群中用于接收所述集群數據的遷入地址，構建所述遷出地址和所述遷入地址之間的映射關系，包括：

從所述第一集群中導出所有第一數據庫的第一庫名，以及所述第一數據庫下所有第一數據表的第一表名，根據所述第一庫名和所述第一表名構建第一庫表信息；

從所述第二集群中導出所有第二數據庫的第二庫名，以及所述第二數據庫下所有第二數據表的第二表名，根據所述第二庫名和所述第二表名構建第二庫表信息；

接收控制端發(fā)送的遷移信息，所述遷移信息中包括起點位置信息和終點位置信息；識別所述第一庫表信息中與所述起點位置信息對應的第一庫名及第一表名，并將所述第一庫名及第一表名設為遷出地址；識別所述第二庫表信息中與所述終點位置信息對應的第二庫名及第二表名，并將所述第二庫名及第二表名設為所述遷入地址；

將所述遷出地址和所述遷入地址錄入預置的映射表中，并在所述映射表中將所述遷出地址和所述遷入地址關聯，用以構建所述遷出地址和所述遷入地址之間的映射關系。

上述方案中，所述根據所述映射關系將所述管理腳本文件中的遷出地址修改為遷入地址，并將所述遷出地址作為所述遷入地址的映射標注，使所述管理腳本文件轉為遷移腳本文件，包括：

提取并復制所述第一集群中的管理腳本文件得到中間腳本文件，識別所述中間腳本文件中的位置字段，并獲取與所述位置字段對應的遷出地址；

從所述映射關系中獲得與所述遷出地址對應的遷入地址；