[發明專利]一種web頁面的數據抽取、轉換和加載的方法、系統及裝置

在審

• 申請號: 202211202085.2
• 申請日: 2022-09-29
• 公開（公告）號: CN115374209A
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 楊炳正
• 申請（專利權）人: 廣東億迅科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/951
• 代理公司: 廣州海心聯合專利代理事務所(普通合伙) 44295
• 代理人: 李哲瑜

1.一種web頁面的數據抽取、轉換和加載的方法，其特征在于，包括以下步驟：

(1)通過方案管理的新增方案，利用ETL引擎工具、抽取規則、來源數據、來源表、去向數據源、去向表、表字段對應和抽取類型，獲得抽取方案；

(2)調用后臺保存接口，接口通過代碼邏輯進行數據封裝，生成執行文件存儲在服務器路徑下，并將相關信息存入數據庫；

(3)通過任務管理的新增任務，并調用步驟(1)所獲得的抽取方案，通過定時抽取或手動抽取，獲得抽取任務，調用后臺接口將相關信息存入數據庫；

(4)系統定時自動啟動或者手動啟動步驟(3)所獲得的抽取任務，調用后臺接口，接口判斷方案類型讀取并執行步驟(2)所得的執行文件，進行數據抽取。

2.根據權利要求1所述的一種web頁面的數據抽取、轉換和加載的方法，其特征在于，在所述的步驟(1)中，ETL引擎工具包括DataX引擎和Kettle引擎兩種，抽取策略包括字典轉換、字段選擇、去重、去除無效字符和設置字段值。

3.根據權利要求2所述的一種web頁面的數據抽取、轉換和加載的方法，其特征在于，所述的步驟(2)中，接口通過代碼邏輯進行數據封裝時，當ETL引擎工具為DataX引擎，通過fastjson來操作和組裝json數據，生成.conf文件；當ETL引擎工具為Kettle引擎，通過Dom4j操作xml節點，對不同節點的操作生成和組裝后生成.job文件和.ktr文件。

4.根據權利要求1所述的一種web頁面的數據抽取、轉換和加載的方法，其特征在于，所述的步驟(4)中，當選擇自動抽取時，定好抽取時間后系統定時自動啟動步驟(3)所獲得的抽取任務；當選擇手動抽取時，手動啟動步驟(3)所獲得的抽取任務。

5.根據權利要求1所述的一種web頁面的數據抽取、轉換和加載的方法，其特征在于，在所述的步驟(1)前，還包括以下步驟：

(0.1)增加數據源，測試數據源是否連通；

(0.2)通過規則管理頁面，新增抽取規則。

6.根據權利要求1所述的一種web頁面的數據抽取、轉換和加載的方法，其特征在于，還包括步驟(5)通過結果管理獲取本次抽取結果的具體信息。

7.根據權利要求1所述的一種web頁面的數據抽取、轉換和加載的系統，其特征在于，包括：

抽取方案設定模塊：用于創建新的抽取方案；

封裝模塊：用于生成執行文件存儲在服務器路徑；

抽取任務設定模塊：用于創建新的抽取任務；

抽取執行模塊：用于執行新創建的抽取任務；

所述抽取方案設定模塊的輸出端分別與封裝模塊的輸入端和抽取任務設定模塊的輸入端連接，所述封裝模塊的輸出端和抽取任務的輸出端均與抽取執行模塊的輸入端連接。

8.根據權利要求7所述的一種web頁面的數據抽取、轉換和加載的系統，其特征在于，還包括：

抽取規則設定模塊：用于創建新的抽取規則；

所述抽取規則設定模塊的輸出端與抽取方案設定模塊的輸入端連接。

9.根據權利要求7-8所述的一種web頁面的數據抽取、轉換和加載的裝置，包括存儲器和處理器，所述的存儲器存儲有計算機程序，其特征在于，所述處理器執行計算機程序時實現權利要求書1-7中任一所述方法的步驟。