[發明專利]基于Kettle的數據同步方法和系統

有效

• 申請號: 201610320280.3
• 申請日: 2016-05-13
• 公開（公告）號: CN107368503B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 李飛
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 蔡純;張靖琳

1.一種基于Kettle的數據同步方法，其中，包括：

通過客戶端配置數據源及相關參數，并將數據源配置信息及參數配置信息存儲在數據庫中；

通過客戶端Kettle圖形化界面編輯包括數據流轉邏輯的Kettle文件；

將所述Kettle文件上傳給Kettle執行引擎；

動態加載所述Kettle文件，生成相應的轉換對象，其中，所述轉換對象包括數據源屬性信息和參數屬性信息；

根據所述數據源屬性信息中的數據源標識，在數據源配置信息中獲取對應的源數據源信息和目標數據源信息；

根據所述源數據源信息和目標數據源信息修改所述數據源屬性信息；

根據所述參數屬性信息中需要賦值的參數查找參數配置信息，根據查找到的具體參數，修改所述參數屬性信息；和

按照數據流轉邏輯及相應的參數配置信息，根據數據源配置信息，將源數據源的相應數據流轉到目標數據源。

2.如權利要求1所述的基于Kettle的數據同步方法，其中，所述數據源配置信息包括數據源標識、數據源類型、數據源的IP或URL鏈接地址；和/或，所述參數包括數據流轉時所需的動態參數。

3.如權利要求2所述的基于Kettle的數據同步方法，其中，所述數據源配置信息記錄在數據源配置表中；和/或，所述參數配置信息記錄在參數表中。

4.如權利要求2所述的基于Kettle的數據同步方法，其中，所述數據源類型包括Oralce、MySql、SQLServer、WebService或SAP中的一種或任意幾種類型的組合。

5.如權利要求1所述的基于Kettle的數據同步方法，其中，在將所述Kettle文件上傳給Kettle執行引擎之前，在本地對所述Kettle文件執行測試，并校驗獲取數據的完成性和準確性。

6.如權利要求1所述的基于Kettle的數據同步方法，其中，在將源數據源的相應數據流轉到目標數據源之后，還包括向客戶端返回執行信息的步驟。

7.一種基于Kettle的數據同步系統，包括：

客戶端，用于進行信息配置、編輯和上傳Kettle文件；和

數據采集平臺，用于動態加載所述Kettle文件，生成相應的轉換對象，其中，所述轉換對象包括數據源屬性信息和參數屬性信息，

根據所述數據源屬性信息中的數據源標識，在數據源配置信息中獲取對應的源數據源信息和目標數據源信息，

根據所述源數據源信息和目標數據源信息修改所述數據源屬性信息，

根據所述參數屬性信息中需要賦值的參數查找參數配置信息，根據查找到的具體參數，修改所述參數屬性信息，按照數據流轉邏輯及相應的參數配置信息，根據數據源配置信息，將源數據源的相應數據流轉到目標數據源。

8.如權利要求7所述的基于Kettle的數據同步系統，其中，所述客戶端包括：

配置模塊，用于配置數據源和相關參數，并將數據源配置信息及參數配置信息存儲在數據庫中；

編輯模塊，通過提供Kettle圖形化界面，用于編輯包括數據流轉邏輯的Kettle文件。

9.如權利要求7所述的基于Kettle的數據同步系統，其中，所述數據采集平臺包括：

Kettle執行引擎，用于動態地解析所述Kettle文件，并完成數據的流轉；

多種API，用于供所述Kettle執行引擎調用，完成所述Kettle文件的解析和數據的流轉；和

數據庫，用于提供所述Kettle解析過程中需要的數據源配置信息及參數配置信息。