[發明專利]基于消息中間件的數據遷移方法及相關設備

有效

• 申請號: 201910268533.0
• 申請日: 2019-04-04
• 公開（公告）號: CN110334075B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 丁明
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 于亭

1.一種基于消息中間件的數據遷移方法，其特征在于，包括：

從源數據庫抽取待遷移數據后寫入消息中間件集群的第一級消息中間件，所述消息中間件集群包括級聯的至少兩個消息中間件；

將所述第一級消息中間件中的所述待遷移數據進行流式計算處理后傳輸至次級消息中間件；

根據所述次級消息中間件連接的下一級中間存儲單元的類型，判斷所述次級消息中間件是否存在數據異步落地要求，當存在數據異步落地要求時，通過與所述次級消息中間件連接的中間數據庫將所述待遷移數據落庫至目標數據庫，當不存在數據異步落地要求時，通過與所述次級消息中間件連接的后續級聯的消息中間件將所述待遷移數據落庫至所述目標數據庫，所述中間存儲單元的類型包括消息中間件和中間數據庫；

其中，所述根據所述次級消息中間件連接的下一級中間存儲單元的類型，判斷所述次級消息中間件是否存在數據異步落地要求，包括：讀取所述次級消息中間件的連接配置信息，所述連接配置信息用于定義所述次級消息中間件與和其連接的下一級中間存儲單元之間的連接配置，包括所述下一級中間存儲單元的數據驅動配置命令、訪問地址、數據端口、用戶名和密碼；遍歷所述連接配置信息的定義文本，當存在數據驅動配置命令時，確定所述次級消息中間件連接的下一級中間存儲單元的類型為中間數據庫，標記所述次級消息中間件存在數據異步落地要求，當不存在數據驅動配置命令時，則確定所述次級消息中間件連接的下一級中間存儲單元的類型為消息中間件，標記所述次級消息中間件不存在數據異步落地要求。

2.根據權利要求1所述的基于消息中間件的數據遷移方法，其特征在于，所述從源數據庫抽取待遷移數據后寫入消息中間件集群的第一級消息中間件，所述消息中間件集群包括級聯的至少兩個消息中間件，包括：

獲取所述源數據庫的訪問權限和預設的數據遷移任務清單，所述數據遷移任務清單中記錄所述待遷移數據；

基于所述第一級消息中間件生成用于連接所述源數據庫的源端數據連接器，根據所述源數據庫的訪問權限建立所述源端數據連接器與所述源數據庫的連接；

根據所述數據遷移任務清單，通過所述源端數據連接器從所述源數據庫抽取所述待遷移數據；

將所述待遷移數據寫入所述第一級消息中間件。

3.根據權利要求1所述的基于消息中間件的數據遷移方法，其特征在于，所述將所述第一級消息中間件中的所述待遷移數據進行流式計算處理后傳輸至次級消息中間件，包括：

建立所述第一級消息中間件與預設的流式處理引擎的連接；

從所述第一級消息中間件中提取所述待遷移數據，通過所述流式處理引擎對所述待遷移數據進行處理；

建立所述流式處理引擎和所述次級消息中間件之間的連接，將經過流式計算處理后的所述待遷移數據寫入所述次級消息中間件。

4.根據權利要求1所述的基于消息中間件的數據遷移方法，其特征在于，所述當存在數據異步落地要求時，通過與所述次級消息中間件連接的中間數據庫將所述待遷移數據落庫至目標數據庫，包括通過ETL方式將所述待遷移數據經由所述中間數據庫落庫于所述目標數據庫，具體包括：

當存在后續級聯的中間數據庫時，通過ETL方式將所述待遷移數據傳輸給所述后續級聯的中間數據庫，直至通過最后一級所述中間數據庫將所述待遷移數據落庫于所述目標數據庫；

當不存在后續級聯的中間數據庫時，直接通過ETL方式將所述待遷移數據經由所述中間數據庫落庫至所述目標數據庫。

5.根據權利要求1所述的基于消息中間件的數據遷移方法，其特征在于，所述當不存在數據異步落地要求時，通過與所述次級消息中間件連接的后續級聯的消息中間件將所述待遷移數據落庫至所述目標數據庫，包括：

當存在后續級聯的消息中間件時，將所述待遷移數據進行流式計算處理后向后續級聯的消息中間件逐級傳遞，直至通過最后一級所述消息中間件將所述待遷移數據落庫于所述目標數據庫；

當不存在后續級聯的消息中間件時，在當前的所述消息中間件和所述目標數據庫之間建立目的地端數據連接器，通過所述目的地端數據連接器將所述待遷移數據落庫至所述目標數據庫。