[發明專利]一種多種數據抽取調度方法及系統

有效

• 申請號: 202110076282.3
• 申請日: 2021-01-20
• 公開（公告）號: CN112860776B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 岳才勇;高希余;吳軍;趙華橋;唐徐興;孫釗
• 申請（專利權）人: 眾陽健康科技集團有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

1.一種多種數據抽取調度方法，其特征是：包括以下步驟：

配置包含不同數據抽取節點的基本信息，每個數據抽取節點均能夠支持JAVA接口、存儲過程和Informatica工作流數據抽取方式；

所述JAVA接口的抽取流程包括：

通過遠程調用Java接口地址，根據能否返回方法列表判斷接口是否可用；

將目標接口方法的基本信息維護成一個運行的基本元素，并將判斷依據和后續的處理方式一并維護，這一組信息的集合形成一個JAV A接口節點；

調用Java接口，接收返回值，在根據之前維護的結果判斷標準對返回結果進行判斷；

在調用過程中如果需要暫停或者中斷數據抽取，調用數據抽取控制接口，并將需要操作數據抽取接口和操作類型信息以入參的形式傳入，數據抽取控制接口找到該接口，并將其中斷，暫停或者繼續，控制數據抽取進程；

所述存儲過程的數據抽取過程包括：

根據維護的數據庫地址、端口、實例名、用戶名和密碼基本信息，通過數據庫驅動，并判斷數據庫的連通性；

查詢數據庫存儲過程信息，從中選取所需的存儲過程，將存儲過程的入參和出參信息包括參數名、參數類型和參數位置進行維護，并將這些信息集合形成存儲過程節點；

調用存儲過程，通過數據庫驅動調用存儲過程，并將存儲過程執行過程中的明細信息存儲到專門的日志表中，最后將執行的結果返回，在根據判斷標準判斷返回結果；

所述Informatica工作流的過程包括：

通過連通Informatica服務的端口號，判斷Informatica服務是否啟動；

通過查詢Informatica元數據信息，獲取過工作流列表，選取所需工作流，這樣的信息集合形成一個Informatica工作流節點；

連接遠程Informatica服務，通過網絡發送Informatica命令，啟動Informatica工作流，獲取工作流執行后的返回信息，使用分詞解析，獲取結果信息中關鍵信息，根據關鍵信息判斷數據抽取的結果成功失敗；

根據工作流名稱向Informatica服務器發送停止、暫停、繼續的命令，控制Informatica工作流抽取進程；

在數據抽取過程中，通過查詢Informatica元數據信息，獲取工作流中所有會話的執行日志，以實現錯誤定位和問題解決；

確定數據抽取節點選用個數，各數據抽取節點根據需要制作抽取流程，形成數據抽取的邏輯；所述數據抽取的邏輯，包括串行、并行和分支執行中的至少一種；

按照數據抽取的邏輯，各數據抽取節點進行運行，利用不同數據抽取方式進行數據抽取；

判斷數據抽取是否成功，如果失敗則重復執行設定次數。

2.如權利要求1所述的一種多種數據抽取調度方法，其特征是：不同數據抽取節點的基本信息包括：

JAVA接口的基本信息包含接口地址、接口參數；

存儲過程的基本信息包含數據庫地址、端口、實例名、用戶名和密碼；

Informatica工作流包含Informatica服務的IP地址、計算機名、集成服務名、端口、用戶名、密碼和元數據的數據庫信息。

3.如權利要求1所述的一種多種數據抽取調度方法，其特征是：在存儲過程的進程中，可以對進程進行控制，根據存儲過程名稱，查到該存儲過程的進程，在向數據發送停止命令，停止該存儲過程；

通過數據庫驅動查看存儲過程運行日志表，獲取存儲過程運行的明細信息，包括應抽取數據行數、已抽取行數、報錯信息和報錯位置。

4.如權利要求1所述的一種多種數據抽取調度方法，其特征是：在運行過程中，判斷各數據抽取節點運行結果，如果運行結果正確，則按照設定邏輯繼續運行，如果運行結果錯誤，則按照設定邏輯暫停后續數據抽取節點的執行。

5.如權利要求1所述的一種多種數據抽取調度方法，其特征是：判斷各數據抽取節點運行結果包括兩種方式：(1)根據返回值，返回值與在生成節點是維護的結果判斷信息進行對比，從而判斷運行的成功和失敗；(2)根據運行時間，生成節點時預先設定運行時間，如果運行超時，就判斷運行失敗，否則抽取數據的邏輯被卡住，影響其他的數據抽取。

6.一種多種數據抽取調度系統，其特征是：包括：

參數設置模塊，被配置為配置包含不同數據抽取節點的基本信息，每個數據抽取節點均能夠支持JAVA接口、存儲過程和Informatica工作流數據抽取方式；

所述JAVA接口的抽取流程包括：

通過遠程調用Java接口地址，根據能否返回方法列表判斷接口是否可用；

將目標接口方法的基本信息維護成一個運行的基本元素，并將判斷依據和后續的處理方式一并維護，這一組信息的集合形成一個JAV A接口節點；

調用Java接口，接收返回值，在根據之前維護的結果判斷標準對返回結果進行判斷；

在調用過程中如果需要暫停或者中斷數據抽取，調用數據抽取控制接口，并將需要操作數據抽取接口和操作類型信息以入參的形式傳入，數據抽取控制接口找到該接口，并將其中斷，暫停或者繼續，控制數據抽取進程；

所述存儲過程的數據抽取過程包括：

根據維護的數據庫地址、端口、實例名、用戶名和密碼基本信息，通過數據庫驅動，并判斷數據庫的連通性；

查詢數據庫存儲過程信息，從中選取所需的存儲過程，將存儲過程的入參和出參信息包括參數名、參數類型和參數位置進行維護，并將這些信息集合形成存儲過程節點；

調用存儲過程，通過數據庫驅動調用存儲過程，并將存儲過程執行過程中的明細信息存儲到專門的日志表中，最后將執行的結果返回，在根據判斷標準判斷返回結果；

所述Informatica工作流的過程包括：

通過連通Informatica服務的端口號，判斷Informatica服務是否啟動；

通過查詢Informatica元數據信息，獲取過工作流列表，選取所需工作流，這樣的信息集合形成一個Informatica工作流節點；

連接遠程Informatica服務，通過網絡發送Informatica命令，啟動Informatica工作流，獲取工作流執行后的返回信息，使用分詞解析，獲取結果信息中關鍵信息，根據關鍵信息判斷數據抽取的結果成功失敗；

根據工作流名稱向Informatica服務器發送停止、暫停、繼續的命令，控制Informatica工作流抽取進程；

在數據抽取過程中，通過查詢Informatica元數據信息，獲取工作流中所有會話的執行日志，以實現錯誤定位和問題解決；

邏輯配置模塊，被配置為確定數據抽取節點選用個數，各數據抽取節點根據需要制作抽取流程，形成數據抽取的邏輯；所述數據抽取的邏輯，包括串行、并行和分支執行中的至少一種；執行模塊，被配置為按照數據抽取的邏輯，各數據抽取節點進行運行，利用不同數據抽取方式進行數據抽取調度；

判斷模塊，被配置為判斷數據抽取是否成功，如果失敗則重復執行設定次數。