[發明專利]針對單個源表的數據遷移方法及裝置

有效

• 申請號: 202210244694.8
• 申請日: 2022-03-14
• 公開（公告）號: CN114328470B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 蔡飛志;莊明強;余晟雋
• 申請（專利權）人: 北京奧星貝斯科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/242;G06F16/245;G06F16/27
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供了針對單個源表的數據遷移方法及裝置。該方法可以應用于數據遷移平臺中的任務拆分線程，數據遷移平臺還包括任務管道和多個執行線程，任務拆分線程用于對單個源表進行多次任務拆分，其中，在對單個源表進行某次任務拆分時，該方法包括：從單個源表的主鍵列中確定出當前的第一主鍵范圍，第一主鍵范圍在單個源表中關聯的數據的條數等于目標步長；生成包括第一主鍵范圍和表標識信息的數據遷移任務，表標識信息包括單個源表和目標表各自的表標識，目標表是有待遷入單個源表中的數據的表；將所生成的數據遷移任務傳輸到任務管道，以使得該多個執行線程從任務管道獲取并執行與單個源表有關的數據遷移任務。

技術領域

本說明書實施例涉及計算機技術領域，具體地，涉及針對單個源表的數據遷移方法及裝置。

背景技術

目前，用戶想要將源數據庫的數據遷移到目標數據庫上時，需要利用數據遷移工具進行數據遷移。在數據遷移過程中，源數據庫中單張表（可稱為單個源表）的數據量通常比較大，而且需要對單個源表進行全量數據遷移。

因此，迫切需要一種合理、可靠的方案，可以在對單個源表進行全量數據遷移時，提高數據遷移效率。

發明內容

本說明書實施例提供了針對單個源表的數據遷移方法及裝置，可以在對單個源表進行全量數據遷移時，提高數據遷移效率。

第一方面，本說明書實施例提供了一種針對單個源表的數據遷移方法，應用于數據遷移平臺中的任務拆分線程，所述數據遷移平臺還包括任務管道和多個執行線程，所述任務拆分線程用于對所述單個源表進行多次任務拆分，其中，在對所述單個源表進行某次任務拆分時，所述方法包括：從所述單個源表的主鍵列中確定出當前的第一主鍵范圍，所述第一主鍵范圍在所述單個源表中關聯的數據的條數等于目標步長；生成包括所述第一主鍵范圍和表標識信息的數據遷移任務，所述表標識信息包括所述單個源表和目標表各自的表標識，所述目標表是有待遷入所述單個源表中的數據的表；將所生成的數據遷移任務傳輸到所述任務管道，以使得所述多個執行線程從所述任務管道獲取并執行與所述單個源表有關的數據遷移任務。

在一些實施例中，所述單個源表中的數據已根據所述主鍵列升序排列；以及所述從所述單個源表的主鍵列中確定出當前的第一主鍵范圍，包括：在所述主鍵列中確定當前的下界；從所述下界開始，查找所述下界下方第目標步長個主鍵值；響應于查找到所述第目標步長個主鍵值，將其確定為當前的第一上界；確定所述第一上界是否為位于所述主鍵列尾部的主鍵值；響應于確定結果為否，生成當前的第一主鍵范圍，其包括所述下界但不包括所述第一上界。

在一些實施例中，當所述某次任務拆分是第一次任務拆分時，所述在所述主鍵列中確定當前的下界，包括：將位于所述主鍵列首部的主鍵值確定為所述下界。

在一些實施例中，當所述某次任務拆分不是第一次任務拆分時，所述在所述主鍵列中確定當前的下界，包括：將所述第一主鍵范圍的上一主鍵范圍的上界確定為所述下界。

在一些實施例中，所述方法還包括：響應于所述確定結果為是，生成當前的第二主鍵范圍，其包括所述下界和所述第一上界；生成包括所述第二主鍵范圍和所述表標識信息的數據遷移任務。

在一些實施例中，所述方法還包括：響應于未查找到所述第目標步長個主鍵值，將位于所述主鍵列尾部的主鍵值確定為當前的第二上界；生成當前的第三主鍵范圍，其包括所述下界和所述第二上界；生成包括所述第三主鍵范圍和所述表標識信息的數據遷移任務。

在一些實施例中，所述單個源表所在的源數據庫支持SQL查詢語句；以及所述方法還包括：根據所述主鍵列的列名，所述單個源表的表名，所述下界，以及所述目標步長，生成用于查找所述第目標步長個主鍵值的目標SQL查詢語句；所述從所述下界開始，查找所述下界下方第目標步長個主鍵值，包括：利用所述目標SQL查詢語句，查找所述第目標步長個主鍵值。

在一些實施例中，所述目標SQL查詢語句包括WHERE子句，所述WHERE子句用于根據所述主鍵列的列名和所述下界限定查詢的起始位置。