[發明專利]基于Kettle的數據同步方法和系統

有效

• 申請號: 201610320280.3
• 申請日: 2016-05-13
• 公開（公告）號: CN107368503B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 李飛
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 蔡純;張靖琳

本發明提供了一種基于Kettle的數據同步方法和系統，其中，所述方法包括：通過客戶端配置數據源信息及參數信息，并將數據源配置信息及參數配置信息存儲在數據庫中；通過客戶端Kettle圖形化界面編輯包括數據流轉邏輯的Kettle文件；將所述Kettle文件上傳給Kettle執行引擎；動態解析所述Kettle文件；和按照數據流轉邏輯及相應的參數配置信息，根據數據源配置信息，將源數據源的相應數據流轉到目標數據源。所述系統包括客戶端和數據采集平臺，客戶端用于進行信息配置、編輯和上傳Kettle文件；數據采集平臺用于接收、動態解析所述Kettle文件，根據數據源配置信息，將源數據源的相應數據流轉到目標數據源。本發明可以任意指定多個數據源之間的數據流轉，快速、便捷，系統間的耦合度低。

技術領域

本發明涉及數據處理技術領域，具體地說，涉及一種基于Kettle的數據同步方法和系統。

背景技術

目前，在大部分企業中，隨著企業業務的不斷擴大，企業系統在不斷的增加、迭代更新，系統之間也會有很多的關聯，就像蜘蛛網一樣，錯綜復雜。當已有系統已經不能滿足公司業務需求時，不得不重新對系統進行設計開發。然而這必然會面臨一個非常艱難的事情：如何做到新老數據的一致性。通常的方案是：在進行新系統的設計時，會兼容老系統的設計，做成Worker定時將老系統數據同步到新系統。這種方案當然可行，但是同步數據消耗的時間非常多。如果公司有成千上萬個系統，每升級一個新系統，都要重新同步數據。將花費太多的時間。因此，除了在設計新系統時考慮與老系統的兼容性的同時，還需要尋找完成系統之間的數據同步的方案。

目前，使用較多的方案有采用Sql語句數據同步、應用程序之間的定時同步、通過系統間RPC調用，例如：WebService、RMI、或者企業內部的RPC框架，還有采用一些Etl工具在本地做數據轉換。

在錯綜復雜的企業系統中，進行數據采集，然后采用Sql語句導入，工作量比較大。如果采用應用程序之間的定時同步，會限制企業內部中各應用之間的擴展。如果采用遠程的RPC調用，必然會因為遠程調用而對相應的應用服務器帶來很大的壓力，并且集成相對較復雜。采用Etl工具做數據轉換，由于是對線上數據庫直接操作，必然會有權限限制和安全問題，并且這種做法通常也不符合企業流程的規范。

在Etl工具中，有一種名為Kettle的開源的Etl工具，由純Java編寫，在數據抽取上具有高效、穩定的特點。它允許管理不同數據源的數據，通過提供一個圖形化的界面來實現用戶想完成的功能。

發明內容

本發明要解決的技術問題在于，針對現有技術的不足，提供一種基于Kettle的數據同步方法和系統，用于實現系統之間的快速數據同步。

為了解決上述技術問題，根據本發明的一個方面，本發明提供了一種基于Kettle的數據同步方法，其中，包括：

通過客戶端配置數據源及參數，并將數據源配置信息及參數配置信息存儲在數據庫中；

通過客戶端Kettle圖形化界面編輯包括數據流轉邏輯的Kettle文件；

將所述Kettle文件上傳給Kettle執行引擎；

動態解析所述Kettle文件；和

按照數據流轉邏輯及相應的參數配置信息，根據數據源配置信息，將源數據源的相應數據流轉到目標數據源。

優選地，所述數據源配置信息包括數據源標識、數據源類型、數據源的IP或URL鏈接地址；和/或，所述參數包括數據流轉時所需的動態參數。

優選地，所述動態解析所述Kettle文件的步驟包括：

動態加載所述Kettle文件，生成相應的轉換對象；

根據所述數據源配置信息和參數配置信息，對所述轉換對象進行數據源信息和參數信息的賦值。