[發明專利]一種多種數據抽取調度方法及系統

有效

• 申請號: 202110076282.3
• 申請日: 2021-01-20
• 公開（公告）號: CN112860776B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 岳才勇;高希余;吳軍;趙華橋;唐徐興;孫釗
• 申請（專利權）人: 眾陽健康科技集團有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本發明提供了一種多種數據抽取調度方法及系統，包括配置包含不同數據抽取節點的基本信息，每個數據抽取節點支持JAVA接口、存儲過程和Informatica工作流數據抽取方式中的至少一種，且各數據抽取節點能夠支持上述所有數據抽取方式；確定數據抽取節點選用個數，根據各數據抽取節點的抽取流程，形成數據抽取的邏輯；按照數據抽取的邏輯，各數據抽取節點進行運行，利用不同數據抽取方式進行數據抽取；判斷數據抽取是否成功，如果失敗則重復執行設定次。本發明解決以往單一數據抽取方式所無法完成的任務。

技術領域

本發明屬于數據抽取、調度技術領域，具體涉及一種多種數據抽取調度方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

目前ETL邏輯采用Informatica與數據庫存儲過程聯合來實現的，目前使用Informatica中的調度來管理總體任務，Informatica中可以對自身的邏輯進行靈活的調度和管理，無法對存儲過程進行靈活的調度和監控，而且Informatica自身產品的限制，無法對抽取過程中的異常日志進行直觀的顯示，監控起來較為困難。并且在JAVA程序中也有部分調度邏輯，暫時未添加到Informatica調度中。

發明內容

本發明為了解決上述問題，提出了一種多種數據抽取調度方法及系統，本發明能夠按照實際情況定制符合自己的數據抽取邏輯，串行，并行結合使用，支持多種數據抽取方式同時使用。

根據一些實施例，本發明采用如下技術方案：

一種多種數據抽取調度方法，包括以下步驟：

配置包含不同數據抽取節點的基本信息，每個數據抽取節點支持JAVA接口、存儲過程和Informatica工作流數據抽取方式中的至少一種，且各數據抽取節點能夠支持上述所有數據抽取方式；

確定數據抽取節點選用個數，根據各數據抽取節點的抽取流程，形成數據抽取的邏輯；

按照數據抽取的邏輯，各數據抽取節點進行運行，利用不同數據抽取方式進行數據抽取；

判斷數據抽取是否成功，如果失敗則重復執行設定次。

作為可選擇的實施方式，不同數據抽取節點的基本信息包括：

JAVA接口的基本信息包含接口地址、接口參數；

存儲過程的基本信息包含數據庫地址、端口、實例名、用戶名和密碼；

Informatica工作流包含Informatica服務的IP地址、計算機名、集成服務名、端口、用戶名、密碼和元數據的數據庫信息。

作為可選擇的實施方式，數據抽取的邏輯，包括串行、并行和分支執行中的至少一種。其中的分支執行，即為根據前一個節點的結果，決定后面節點是否執行。

作為可選擇的實施方式，JAVA接口的抽取流程包括：

通過遠程調用Java接口地址，根據能否返回方法列表判斷接口是否可用。

將目標接口方法的基本信息維護成一個運行的基本元素，并將判斷依據和后續的處理方式一并維護，這一組信息的集合形成一個JAVA接口節點；

調用Java接口，接收返回值，在根據之前維護的結果判斷標準對返回結果進行判斷；

在調用過程中如果需要暫停或者中斷數據抽取，調用數據抽取控制接口，并將需要操作數據抽取接口和操作類型信息以入參的形式傳入，數據抽取控制接口找到該接口，并將其中斷，暫停或者繼續，控制數據抽取進程。

作為可選擇的實施方式，存儲過程的數據抽取過程包括：