[發(fā)明專利]數(shù)據(jù)遷移方法及裝置

在審

• 申請?zhí)枺?/td>: 202010560502.5
• 申請日: 2020-06-18
• 公開（公告）號: CN111881110A
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 呂冬冬
• 申請（專利權(quán)）人: 貝殼技術(shù)有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 鄭朝然

本發(fā)明實施例提供一種數(shù)據(jù)遷移方法及裝置，其中方法包括根據(jù)待遷移的數(shù)據(jù)表的外鍵，對數(shù)據(jù)表進行初始分組，初始分組結(jié)果包括：用于統(tǒng)計具有外鍵關(guān)聯(lián)的數(shù)據(jù)表對的第一集合、用于統(tǒng)計沒有外鍵且不是頂級節(jié)點的數(shù)據(jù)表的第二集合和用于統(tǒng)計沒有外鍵且是頂級節(jié)點的數(shù)據(jù)表的第三集合；分析第一集合和第三集合中數(shù)據(jù)表的關(guān)聯(lián)關(guān)系，對第一集合和第三集合重組，獲得具有多個新集合的重組結(jié)果；根據(jù)重組結(jié)果和第二集合進行數(shù)據(jù)遷移。本發(fā)明實施例能夠快速地根據(jù)數(shù)據(jù)表的關(guān)聯(lián)關(guān)系進行遷移。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫遷移技術(shù)領(lǐng)域，更具體地，涉及數(shù)據(jù)遷移方法及裝置。

背景技術(shù)

在一些業(yè)務(wù)系統(tǒng)中，為了更好的提供系統(tǒng)服務(wù)、降低維護成本，系統(tǒng)會經(jīng)歷較大的技術(shù)升級，這可能就會涉及到底層數(shù)據(jù)的重構(gòu)和遷移。例如，從A系統(tǒng)遷移到B系統(tǒng)中，會涉及到數(shù)據(jù)庫、數(shù)據(jù)庫表、數(shù)據(jù)表字段、字段類型等的變更。為了保證遷移后的數(shù)據(jù)在新系統(tǒng)業(yè)務(wù)流程上可用，且不會對現(xiàn)有的業(yè)務(wù)造成影響，需要有一整套的數(shù)據(jù)遷移正確性的驗證方案。所以，需要設(shè)計一套完善的數(shù)據(jù)遷移驗證方案來保證數(shù)據(jù)的一致性、準確性、可用性。

現(xiàn)有的數(shù)據(jù)遷移方案通常將待遷移的數(shù)據(jù)按照數(shù)據(jù)的存儲位置或者數(shù)據(jù)類型進行遷移，比如先將同一個文件夾中的數(shù)據(jù)遷移，之后再遷移下一個文件夾中的數(shù)據(jù)，還比如先將同一后綴(比如jar)的數(shù)據(jù)進行遷移，之后再遷移新的后綴的數(shù)據(jù)，但這兩種現(xiàn)有的數(shù)據(jù)遷移方法均存在遷移效率較低的問題。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種克服上述問題或者至少部分地解決上述問題的數(shù)據(jù)遷移方法及裝置。

第一個方面，本發(fā)明實施例提供一種數(shù)據(jù)遷移方法，包括：

根據(jù)待遷移的數(shù)據(jù)表的外鍵，對所述數(shù)據(jù)表進行初始分組，初始分組結(jié)果包括：用于統(tǒng)計具有外鍵關(guān)聯(lián)的數(shù)據(jù)表對的第一集合、用于統(tǒng)計沒有外鍵且不是頂級節(jié)點的數(shù)據(jù)表的第二集合和用于統(tǒng)計沒有外鍵且是頂級節(jié)點的數(shù)據(jù)表的第三集合；

分析所述第一集合和第三集合中數(shù)據(jù)表的關(guān)聯(lián)關(guān)系，對所述第一集合和第三集合重組，獲得具有多個新集合的重組結(jié)果；

根據(jù)所述重組結(jié)果和第二集合進行數(shù)據(jù)遷移；

其中，在所述重組結(jié)果中，每個新集合中的任意一個數(shù)據(jù)表滿足以下條件：數(shù)據(jù)表與所在集合中的其他一個數(shù)據(jù)表存在外鍵關(guān)聯(lián)；且數(shù)據(jù)表與其他集合中的任意一個數(shù)據(jù)表不具有外鍵關(guān)聯(lián)。

進一步地，所述分析所述第一集合和第三集合中數(shù)據(jù)表的關(guān)聯(lián)關(guān)系，對所述第一集合和第三集合重組，獲得具有多個新集合的重組結(jié)果，具體為：

創(chuàng)建與所述第三集合中數(shù)據(jù)表個數(shù)相等的新集合，將所述第三集合中的每個數(shù)據(jù)表分別作為對應(yīng)新集合的第一個元素；

對于第一集合中的任意一個數(shù)據(jù)表對，在所述第三集合中查找是否存在所述數(shù)據(jù)表對中的主表；

若所述第三集合中存在所述數(shù)據(jù)表對中的主表，則將所述數(shù)據(jù)表對中的從表置于所述數(shù)據(jù)表對中的主表所在的新集合中，并將所述數(shù)據(jù)表對從所述第一集合中刪除；

若所述第三集合中不存在所述數(shù)據(jù)表對中的主表，則在所述第一集合中查找所述主表作為從表的數(shù)據(jù)表對作為第一個待組合數(shù)據(jù)表對，在所述第三集合中繼續(xù)查找是否存在所述待組合數(shù)據(jù)表對中的主表，若不存在則繼續(xù)在所述第一集合中查找所述待組合數(shù)據(jù)表對中的主表作為從表的數(shù)據(jù)表對，作為下一個待組合數(shù)據(jù)表對，直至查找到的數(shù)據(jù)表對中的主表存在于所述第三集合，將所述數(shù)據(jù)表對以及所有待組合數(shù)據(jù)表對中的數(shù)據(jù)表置于查找的最后一個待組合數(shù)據(jù)表對的主表所在的新集合中，并將所述數(shù)據(jù)表對以及所有待組合數(shù)據(jù)表對中的數(shù)據(jù)表從所述第一集合中刪除。

進一步地，所述根據(jù)待遷移的數(shù)據(jù)表的外鍵，對所述數(shù)據(jù)表進行初始分組，包括：

根據(jù)待遷移的數(shù)據(jù)表的數(shù)量，確定進行初始分組的線程個數(shù)，每個線程用于對自身分組范圍內(nèi)的數(shù)據(jù)表進行初始分組。