[發明專利]一種變更數據抽取的方法及裝置

有效

• 申請號: 201710409482.X
• 申請日: 2017-06-02
• 公開（公告）號: CN107229721B
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 謝中凱;柳宇剛;牛興波;馬述杰;張佳寧;彭凱
• 申請（專利權）人: 泰華智慧產業集團股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京晟睿智杰知識產權代理事務所(特殊普通合伙) 11603
• 代理人: 于淼

本發明公開了變更數據抽取的方法及裝置，包括：獲取源數據庫的數據的信息；結合數據的時間字段，對源數據庫進行全量抽取，將抽取的數據傳輸到目標數據庫；結合數據的狀態字段，獲取目標數據庫中處于變動狀態的數據的記錄主鍵，將記錄主鍵存儲于第二數據表中；對源數據庫進行增量抽取，將抽取的數據傳輸到目標數據庫；將記錄主鍵對應的數據從目標數據庫中刪除，依據記錄主鍵從源數據庫中重新進行數據的抽取，將抽取的數據傳輸到目標數據庫；清空第二數據表中的記錄主鍵，重新獲取目標數據庫中處于變動狀態的數據的記錄主鍵，并存儲于第二數據表中。解決了現有技術數據增量抽取時，對源數據庫進行修改，影響源系統業務正常開展的問題。

技術領域

本發明涉及數據庫技術領域，更具體地，涉及一種變更數據抽取的方法及裝置。

背景技術

數據抽取工作可看作是ETL(Extract-Transform-Load，數據的抽取、轉換和裝載)過程，常常在多個系統相互協作時用到。由于不同系統由不同單位承建或者系統數據庫類型不一致，往往導致新建設的系統不能夠直接與原系統使用相同的數據庫。為保證系統間協作的正常運轉，因此需要使用數據抽取技術進行系統間的數據同步。

數據抽取技術需要保證在不影響原系統正常業務開展的情況下，實時或定時更新目標系統的數據庫。數據抽取包括全量抽取和增量抽取兩種類型，當數據表的數據量較大時，如果每次都進行全量抽取的方式，會導致抽取效率低，影響工作的開展，因此在這種情況下需要進行增量抽取。而增量抽取在數據抽取實施過程中還存在各種問題。

現有的數據增量抽取方案，多是通過對源數據庫做相應程度的修改(如，修改表結構、創建臨時表等)來進一步實施的，這些增量抽取的方案在一定程度上影響到了源數據庫的性能，可能導致源系統業務無法正常開展。因此，在數據增量抽取的實際操作中不允許對已有數據庫進行結構變動。

因此，提供一種變更數據抽取的方法及裝置，解決現有技術中在進行數據增量抽取時，需對源數據庫進行修改，從而影響源系統業務的正常開展的問題，是本領域亟待解決的問題。

發明內容

有鑒于此，本發明提供了一種變更數據抽取的方法及裝置，解決現有技術中在進行數據增量抽取時，需對源數據庫進行修改，從而影響源系統業務的正常開展的問題。

為了解決上述技術問題，本發明提出一種變更數據抽取的方法，包括：

獲取源數據庫的數據的信息，其中，所述數據的信息，包括：時間字段、狀態字段和記錄主鍵；

獲取所述源數據庫的時間，記作全量抽取時間，并將所述全量抽取時間存儲于第一數據表中；

結合所述數據的時間字段，對所述源數據庫進行全量抽取，獲取所述全量抽取時間以前的所有數據，并將抽取的所述數據傳輸到目標數據庫；

結合所述數據的狀態字段，獲取所述目標數據庫中處于變動狀態的所述數據的記錄主鍵，并將所述記錄主鍵存儲于第二數據表中；

獲取所述第一數據表中最后一次更新的抽取時間，并將所述抽取時間作為增量抽取開始時間；

再次獲取所述源數據庫的時間，記作增量抽取結束時間，并將所述增量抽取結束時間存儲于第一數據表中；

結合所述數據的時間字段，對所述源數據庫進行增量抽取，獲取所述增量抽取開始時間到所述增量抽取結束時間之間的所有數據，并將抽取的所述數據傳輸到目標數據庫；

獲取所述第二數據表中的所述記錄主鍵，將所述記錄主鍵對應的所述數據從目標數據庫中刪除，同時依據所述記錄主鍵從源數據庫中重新進行數據的抽取，將抽取的所述數據傳輸到目標數據庫；

清空所述第二數據表中的所述記錄主鍵，結合所述數據的狀態字段，重新獲取所述目標數據庫中處于變動狀態的所述數據的記錄主鍵，并將新獲取的所述記錄主鍵存儲于第二數據表中。