[發明專利]一種基于kettle的供數方法、系統、終端設備及介質

在審

• 申請號: 201910003239.7
• 申請日: 2019-01-03
• 公開（公告）號: CN109871413A
• 公開（公告）日: 2019-06-11
• 發明（設計）人: 周之浩
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2458;G06F16/27
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本發明涉及數據遷移技術領域，揭示了一種基于kettle的供數方法、系統、終端設備及介質。所述方法包括：當檢測到第三方用戶的供數請求時，通過解析供數請求生成針對該供數請求的建表文件；其中，該建表文件中包含用于第三方用戶創建數據表的建表語句；檢測是否接收到第三方用戶發送的終止建表指令；當接收到終止建表指令時，將目標業務方數據導入第三方用戶創建的數據表中；其中，目標業務方數據通過kettle工具抽取獲得，第三方用戶所創建的數據表依據上述建表文件創建獲得。實施該方法可以提高供數效率。

技術領域

本發明涉及數據遷移技術領域，特別涉及一種基于kettle的供數方法、系統、終端設備及介質。

背景技術

現有的數據抽取方法通常是利用sqoop將傳統數據庫(MySQL、Oracle、或者Postgres等)中的數據導入Hadoop的HDFS中。但是，在實踐中發現，這種數據抽取方法往往需要數據處理人員針對所抽取的每個數據表手動編寫sqoop腳本，若所抽取的某一數據表結構發生變更時，數據處理人員還需要依據變更后的表結構重新編寫該某一數據表的sqoop腳本，可見，基于這種數據抽取方法實現供數的效率通常較低。

發明內容

為了解決利用現有數據抽取方法實現供數效率較低的技術問題，本發明提供了一種基于kettle的供數方法、系統、終端設備及介質。

一種基于kettle的供數方法，所述方法包括：

當檢測到第三方用戶的供數請求時，通過解析所述供數請求生成針對所述供數請求的建表文件，所述建表文件中包含用于所述第三方用戶創建數據表的建表語句；

檢測是否接收到所述第三方用戶發送的終止建表指令；

當接收到所述終止建表指令時，將目標業務方數據導入所述第三方用戶創建的數據表中；其中，所述目標業務方數據通過kettle工具抽取獲得，所述第三方用戶所創建的數據表依據所述建表文件創建獲得。

一種基于kettle的供數系統，包括：

生成單元，用于當檢測到第三方用戶的供數請求時，通過解析所述供數請求生成針對所述供數請求的建表文件，所述建表文件中包含用于所述第三方用戶創建數據表的建表語句；

檢測單元，用于檢測是否接收到所述第三方用戶發送的終止建表指令；

控制單元，用于當所述檢測單元接收到所述終止建表指令時，將目標業務方數據導入所述第三方用戶創建的數據表中；其中，所述目標業務方數據通過kettle工具抽取獲得，所述第三方用戶所創建的數據表依據所述建表文件創建獲得。

一種終端設備，所述終端設備包括：

處理器；

存儲器，所述存儲器上存儲有計算機可讀指令，所述計算機可讀指令被所述處理器執行時，實現如前所述的方法。

本發明的實施例提供的技術方案可以包括以下有益效果：

本發明所提供的基于kettle的供數方法包括如下步驟，當檢測到第三方用戶的供數請求時，通過解析供數請求生成針對該供數請求的建表文件；其中，該建表文件中包含用于第三方用戶創建數據表的建表語句；檢測是否接收到第三方用戶發送的終止建表指令；當接收到終止建表指令時，將目標業務方數據導入第三方用戶創建的數據表中；其中，目標業務方數據通過kettle工具抽取獲得，第三方用戶所創建的數據表依據上述建表文件創建獲得。

此方法下，當接收到供數請求的情況時，向第三方用戶提供與該供數請求對應的建表文件便于第三方用戶快速建表，提高了供數效率，此外，基于kettle的數據抽取方式極大地降低了數據處理人員的工作量。

應當理解的是，以上的一般描述和后文的細節描述僅是示例性的，并不能限制本發明。