[發明專利]數據的遷移方法和裝置

有效

• 申請號: 201710021450.2
• 申請日: 2017-01-11
• 公開（公告）號: CN106874389B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 周瑾;葉習利;胡彬
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27;G06F16/25
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

1.一種數據的遷移方法，其特征在于，包括：

中轉服務器獲取多個網絡云平臺的客戶端的配置信息，所述配置信息包括多個源數據庫地址，和與所述源數據庫對應的目標數據庫地址；

中轉服務器根據各所述源數據庫地址連接到各源數據庫；

中轉服務器向各所述源數據庫發送觸發器生成指令，由各所述源數據庫根據所述觸發器生成指令生成觸發器，建立增量表；所述觸發器記錄對數據表的變動記錄，并將變動記錄寫入增量表中，所述增量表中存儲了更新的源表名稱、更新的關鍵字值和更新操作的類型；

中轉服務器根據所述目標數據庫地址連接到目標數據庫以建立與各所述配置信息對應的多個遷移通道；

中轉服務器通過所述遷移通道并發向對應的源數據庫發送表結構同步指令；

中轉服務器通過各所述遷移通道并發接收對應的所述源數據庫響應所述表結構同步指令發送的數據表結構，并將所述數據庫表結構同步到對應的目標數據庫中；

中轉服務器通過各所述遷移通道并發向對應的所源數據庫發送數據遷移請求，所述數據遷移請求攜帶有待遷移的數據表的信息；

中轉服務器通過各所述遷移通道并發獲取對應的所述源數據庫響應所述數據遷移請求發送的所述數據表的全量數據，并將所述全量數據通過所述遷移通道并發發送至對應的目標數據庫；

中轉服務器通過所述遷移通道并發抽取對應的所述源數據庫的增量數據，并將所述增量數據通過所述遷移通道并發按照數據產生的時間順序導入對應的所述目標數據庫；

所述中轉服務器通過所述遷移通道并發抽取對應的所述源數據庫的增量數據，包括：

所述中轉服務器通過配置頁面獲取用戶選擇的增量數據的抽取方式；

當用戶選擇通過數據日志分析的方式抽取時，所述中轉服務器為所述源數據庫配置代理進程，通過所述代理進程讀取并解析所述源數據庫的數據日志，得到所述源數據庫的增量信息；通過所述遷移通道從對應的所述源數據庫中根據數據產生的時間順序抽取與所述增量信息對應的增量數據，并放在隊列中，所述中轉服務器依次從隊列中將抽取的增量數據傳輸至對應的目標數據庫；

當用戶選擇通過在源數據庫創建觸發器的方式從源數據庫中提供增量數據時，根據源數據庫地址連接到源數據庫，并向源數據庫發送觸發器生成指令，由源數據庫根據觸發器生成指令生成觸發器，所述中轉服務器掃描所述觸發器的增量表，并根據增量表中的更新的源表名稱、更新的關鍵字值和更新操作的類型，通過所述遷移通道并發從對應的源表中查找到增量數據進行抽取增量數據。

2.根據權利要求1所述的方法，其特征在于，所述配置信息包括源數據庫用戶名和密碼、目標數據庫用戶名和密碼；

所述根據所述源數據庫地址連接到源數據庫，并根據所述目標數據庫地址連接到目標數據庫以建立與所述配置信息對應的遷移通道的步驟包括：

向所述源數據庫發送連接請求，所述連接請求包括源數據庫地址、源數據庫用戶名和密碼，由所述源數據庫驗證通過后連接到源數據庫；

向所述目標數據庫發送連接請求，所述連接請求包括目標數據庫地址、目標數據庫用戶名和密碼，由所述目標數據庫驗證通過后，連接到目標數據庫以建立與所述配置信息對應的遷移通道。

3.根據權利要求1所述的方法，其特征在于：

所述配置信息還包括所述源數據庫所在服務器的登錄名和密碼；

所述方法還包括：根據所述源數據庫所在服務器的登錄名和密碼向所述源數據庫發送權限驗證請求，并在所述源數據庫驗證通過后，為所述源數據庫配置代理進程。

4.根據權利要求1所述的方法，其特征在于，所述中轉服務器掃描所述觸發器的增量表的頻率由系統進行設定。