[發明專利]數據庫數據遷移方法及裝置在審

申請號：	202110576785.7	申請日：	2021-05-26
公開（公告）號：	CN113190534A	公開（公告）日：	2021-07-30
發明（設計）人：	王鑫;馮程;嵇海鋒;倪志華	申請（專利權）人：	中國工商銀行股份有限公司
主分類號：	G06F16/21	分類號：	G06F16/21;G06F16/22;G06F16/25
代理公司：	北京三友知識產權代理有限公司 11127	代理人：	任默聞;王濤
地址：	100140 北***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	數據庫數據遷移方法裝置
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明提供一種數據庫數據遷移方法及裝置，涉及大數據技術領域。方法包括：獲取預先配置的配置文件，所述配置文件包含：源數據庫地址、目標數據庫地址、數據分配到不同文件的算法、導出生成文件的最大容量；根據所述源數據庫地址確定原數據庫，將所述原數據庫中的數據按照所述數據分配到不同文件的算法分配到多個文件中得到多個導出生成的文件；其中，每個導出生成的文件的容量小于所述導出生成文件的最大容量；根據所述目標數據庫地址確定目標數據庫，將多個導出生成的文件遷移至所述目標數據庫。本發明能夠有效提高數據的遷移效率，降低了轉存耗時。

技術領域

本發明涉及大數據技術領域，具體涉及一種數據庫數據遷移方法及裝置。

背景技術

MySQL是一種關系型數據庫管理系統，關系數據庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數據庫的最常用標準化語言。MySQL軟件采用了雙授權政策，分為社區版和商業版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網站的開發都選擇MySQL作為網站數據庫。

Sharding-Sphere是一套開源的分布式數據庫中間件解決方案組成的生態圈，能夠提供標準化的數據分片、讀寫分離、柔性事務和數據治理功能，可適用于如Java同構、異構語言、容器、云原生等各種多樣化的應用場景。sharding-sphere的執行引擎對數據庫的連接方式提供了兩種：內存限制模式和連接限制模式，在內存限制模式中(也就是要使用流式查詢的場景)，對于每一張表的查詢，需要創建一個數據庫連接。流式查詢中一個MySQL數據庫連接同一時間只能為一個ResultSet對象服務，并且如果該ResultSet對象沒有關閉，勢必會影響其他查詢對數據庫連接的使用。

針對現有的MySQL流式查詢，從Mysql,Oracle,H2等數據庫操作數據時或從原有系統讀取數據遷移到新數據系統，如果操作數據量過大，往往會導致內存占用過大，性能低下的問題，甚至造成內存溢出(OOM，Out of Memory)問題，從而造成服務崩潰的嚴重后果。

發明內容

針對現有技術中的問題，本發明提供一種數據庫數據遷移方法及裝置，能夠有效提高數據遷移效率。

為解決上述技術問題，本發明提供以下技術方案：

第一方面，本發明提供一種數據庫數據遷移方法，包括：

獲取預先配置的配置文件，所述配置文件包含：源數據庫地址、目標數據庫地址、數據分配到不同文件的算法、導出生成文件的最大容量；

根據所述源數據庫地址確定原數據庫，將所述原數據庫中的數據按照所述數據分配到不同文件的算法分配到多個文件中得到多個導出生成的文件；其中，每個導出生成的文件的容量小于所述導出生成文件的最大容量；

根據所述目標數據庫地址確定目標數據庫，將多個導出生成的文件遷移至所述目標數據庫。

進一步地，在所述根據所述源數據庫地址確定原數據庫之后，還包括：

基于掃描線程掃描所述原數據庫中的數據，確定符合預設的遷移規則的目標數據；

相對應的，將所述原數據庫中的數據按照所述數據分配到不同文件的算法分配到多個文件中得到多個導出生成的文件，包括：

將所述原數據庫中的目標數據按照所述數據分配到不同文件的算法分配到多個文件中得到多個導出生成的文件。