[發明專利]基于消息中間件的數據遷移方法及相關設備

有效

• 申請號: 201910268533.0
• 申請日: 2019-04-04
• 公開（公告）號: CN110334075B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 丁明
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 于亭

本發明涉及數據處理技術領域，尤其涉及一種基于消息中間件的數據遷移方法及相關設備，所述方法包括：從源數據庫抽取待遷移數據后寫入消息中間件集群的第一級消息中間件；將待遷移數據進行流式計算處理后傳輸至次級消息中間件；根據次級消息中間件的下一級連接判斷是否存在數據異步落地要求；當存在時將待遷移數據傳輸至與次級消息中間件連接的中間數據庫，再通過ETL方式使數據落庫至目標數據庫；當不存在時將待遷移數據進行流式計算處理后傳輸至后續級聯的消息中間件后，使待遷移數據落庫至目標數據庫。本發明通過構建中間件作為數據遷移的中間橋梁，實現數據從源數據庫落庫至目標數據庫，具有實時性高、低延時、傳輸率高的優點。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于消息中間件的數據遷移方法及相關設備。

背景技術

數據遷移是數據存儲技術的一種典型方式，它用于將存儲于一套存儲系統上的數據轉移到另一套存儲系統中。比如，基于數據存儲設備硬件的更替要求，將數據從舊設備所在的源數據庫中遷移至新設備所在的目標數據庫中。一般使用中，也常用于將使用頻率較低甚至不會被使用到的數據從源數據庫轉存至目標數據庫，比如，將高速、高容量的非在線存儲設備作為磁盤設備的下一級設備，然后將磁盤中常用的數據按指定的策略自動遷移到磁帶庫(簡稱帶庫)等二級大容量存儲設備上，當需要使用這些數據時，分級存儲系統會自動將這些數據從下一級存儲設備調回到上一級磁盤上。

數據遷移一般分三個階段實現：遷移前的準備、遷移的實施和遷移后的校驗。由于數據遷移的特點，大量的工作都需要在準備階段完成，充分而周到的準備工作是完成數據遷移的主要基礎。具體而言，要進行待遷移數據源的詳細說明(包括數據的存儲方式、數據量、數據的時間跨度等)；建立新舊系統數據庫的數據字典；對舊系統的歷史數據進行質量分析，新舊系統數據結構的差異分析；新舊系統代碼數據的差異分析；建立新老系統數據庫表的映射關系，對無法映射字段的處理方法；開發、部屬ETL工具，編寫數據轉換的測試計劃和校驗程序；制定數據轉換的應急措施等工作。為實現這些數據遷移過程，傳統的做法一般是從源數據庫通過ETL工具將數據遷移到另一個數據庫，或者先將數據遷移至一個中間數據庫，再經由中間數據庫將數據落庫到目標數據庫，依次依照此方法，最終通過多次ETL操作使數據遷移到目標數據庫中。

但是，上述傳統做法存在如下技術問題：

1)、延時問題造成的時間消耗成本上升，也無法確保數據的時效性，當源數據庫的數據在遷移時發生了變化，則該變化可能無法對應到目標數據庫；

2)、無法實現數據的高速落地，即數據遷移的速度較慢。

發明內容

本發明提供了一種基于消息中間件的數據遷移方法及相關設備，采用流式計算的方式對待遷移數據進行處理后使其經由消息中間件集群進行逐級傳輸，實現數據從源數據庫高速精準落地至目標數據庫，并且能夠兼容原有的落庫前的數據庫連接結構布局，實現數據的異步落地，具有較好的兼容性，當數據在消息中間件中遷移時采用流式計算處理降低數據傳輸過程中的延時問題和傳輸速度。

本發明實施例的第一方面提供一種基于消息中間件的數據遷移方法，包括：從源數據庫抽取待遷移數據后寫入消息中間件集群的第一級消息中間件，所述消息中間件集群包括級聯的至少兩個消息中間件；

將所述第一級消息中間件中的所述待遷移數據進行流式計算處理后傳輸至次級消息中間件；

根據所述次級消息中間件連接的下一級中間存儲單元的類型，判斷所述次級消息中間件是否存在數據異步落地要求，當存在數據異步落地要求時，通過與所述次級消息中間件連接的中間數據庫將所述待遷移數據落庫至目標數據庫，當不存在數據異步落地要求時，通過與所述次級消息中間件連接的后續級聯的消息中間件將所述待遷移數據落庫至所述目標數據庫，所述中間存儲單元的類型包括消息中間件和中間數據庫。

在其中一些可能的實施例中，所述從源數據庫抽取待遷移數據后寫入消息中間件集群的第一級消息中間件，所述消息中間件集群包括級聯的至少兩個消息中間件，包括：