[發(fā)明專利]一種基于kettle的大數據比對方法及裝置

在審

• 申請?zhí)枺?/td>: 201810415516.0
• 申請日: 2018-05-03
• 公開（公告）號: CN108629002A
• 公開（公告）日: 2018-10-09
• 發(fā)明（設計）人: 劉遠見
• 申請（專利權）人: 山東匯貿電子口岸有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.一種基于kettle的大數據比對方法，其特征在于，包括：

獲取數據比對請求；

從預設的源數據庫中獲取與所述數據比對請求相對應的至少一個源數據記錄，并將所述至少一個源數據記錄存儲至預設內存中；

從預設的目標數據庫中獲取與所述數據比對請求相對應的至少一個目標數據記錄，并將所述至少一個目標數據記錄存儲至所述預設內存中；

在所述預設內存中對各個所述源數據記錄以及各個所述目標數據記錄進行比對。

2.根據權利要求1所述的方法，其特征在于，

在所述在所述預設內存中對各個所述源數據記錄以及各個所述目標數據記錄進行比對之后，進一步包括：

根據所述預設內存中的比對結果，對所述目標數據庫中的所述至少一個目標數據記錄進行處理。

3.根據權利要求2所述的方法，其特征在于，

所述在所述預設內存中對各個所述源數據記錄以及各個所述目標數據記錄進行比對，以及所述根據所述預設內存中的對比結果，對所述目標數據庫中的所述至少一個目標數據記錄進行處理，包括：

針對每一個所述源數據記錄，均執(zhí)行：

確定所述源數據記錄對應的第一主鍵；

確定所述至少一個目標數據記錄分別對應的至少一個第二主鍵中，是否存在與所述第一主鍵相同的目標第二主鍵，如果是，根據所述源數據記錄，對所述目標數據庫中的與所述目標第二主鍵相對應的目標數據記錄進行更新，否則，將所述第一主鍵對應的所述源數據記錄插入至所述目標數據庫中。

4.根據權利要求1所述的方法，其特征在于，

在所述從預設的源數據庫中獲取與所述數據比對請求相對應的至少一個源數據記錄之前，進一步包括：

利用kettle的任務設計界面，創(chuàng)建數據同步作業(yè)；

所述從預設的源數據庫中獲取與所述數據比對請求相對應的至少一個源數據記錄，包括：

執(zhí)行所述數據同步作業(yè)，以根據kettle的表輸入組件中預設的源數據連接，對所述源數據庫進行查詢，得到所述至少一個源數據記錄。

5.根據權利要求4所述的方法，其特征在于，

所述從預設的目標數據庫中獲取與所述數據比對請求相對應的至少一個目標數據記錄，包括：

執(zhí)行所述數據同步作業(yè)，以根據kettle的表輸出組件或插入更新組件中預設的目標數據庫連接，對所述目標數據庫進行查詢，得到所述至少一個目標數據記錄。

6.一種基于kettle的大數據比對裝置，其特征在于，包括：請求獲取單元、源數據獲取單元、目標數據獲取單元和數據比對單元；其中，

所述請求獲取單元，用于獲取數據比對請求；

所述源數據獲取單元，用于從預設的源數據庫中獲取與所述數據比對請求相對應的至少一個源數據記錄，并將所述至少一個源數據記錄存儲至預設內存中；

所述目標數據獲取單元，用于從預設的目標數據庫中獲取與所述數據比對請求相對應的至少一個目標數據記錄，并將所述至少一個目標數據記錄存儲至所述預設內存中；

所述數據比對單元，用于在所述預設內存中對各個所述源數據記錄以及各個所述目標數據記錄進行比對。

7.根據權利要求6所述的裝置，其特征在于，

所述數據比對單元，進一步用于根據所述預設內存中的比對結果，對所述目標數據庫中的所述至少一個目標數據記錄進行處理。

8.根據權利要求7所述的裝置，其特征在于，

所述數據比對單元，用于針對每一個所述源數據記錄，均執(zhí)行：確定所述源數據記錄對應的第一主鍵；確定所述至少一個目標數據記錄分別對應的至少一個第二主鍵中，是否存在與所述第一主鍵相同的目標第二主鍵，如果是，根據所述源數據記錄，對所述目標數據庫中的與所述目標第二主鍵相對應的目標數據記錄進行更新；否則，將所述第一主鍵對應的所述源數據記錄插入至所述目標數據庫中。