[發明專利]一種web頁面的數據抽取、轉換和加載的方法、系統及裝置

在審

• 申請號: 202211202085.2
• 申請日: 2022-09-29
• 公開（公告）號: CN115374209A
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 楊炳正
• 申請（專利權）人: 廣東億迅科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/951
• 代理公司: 廣州海心聯合專利代理事務所(普通合伙) 44295
• 代理人: 李哲瑜

本發明公開了一種web頁面的數據抽取、轉換和加載的方法，屬于大數據與IT與軟件開發的技術領域，該方法通過從web頁面進行操作就可以進行數據抽取、轉換和加載，具有操作方便、通用性好的特點；包括以下步驟：(1)通過方案管理的新增方案；(2)調用后臺保存接口，接口通過代碼邏輯進行數據封裝，生成執行文件存儲在服務器路徑下；(3)通過任務管理的新增任務，并調用抽取方案，通過定時抽取或手動抽取，獲得抽取任務，調用后臺接口將相關信息存入數據庫；(4)系統定時自動啟動或者手動啟動抽取任務，調用后臺接口，接口判斷方案類型讀取并執行執行文件，進行數據抽取。

技術領域

本發明涉及大數據與IT與軟件開發的技術領域，更具體地說，尤其涉及一種web頁面的數據抽取、轉換和加載的方法。本發明還涉及實現該種方法的系統及裝置。

背景技術

ETL，是英文Extract-Transform-Load的縮寫，用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。ETL一詞較常用在數據倉庫，但其對象并不限于數據倉庫。

ETL是將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫的過程，目的是將企業中的分散、零亂、標準不統一的數據整合到一起，為企業的決策提供分析依據，ETL是BI(商業智能)項目重要的一個環節。

ETL是極為復雜的過程，而手寫程序不易管理，有越來越多的企業采用工具協助ETL的開發，并運用其內置的metadata功能來存儲來源與目的的對應以及轉換規則。工具可以提供較強大的連接功能來連接來源端及目的端，開發人員不用去熟悉各種相異的平臺及數據的結構，亦能進行開發。但是工具使用繁瑣，開發人員學習成本也高，內存占用也大，比如Kettle引擎，而且它們也沒有提供可以供互聯網訪問的頁面，每次進行ETL操作都需要進入服務器去操作，也是比較麻煩，若是客戶有自己的需求想要自己進行操作，那是無法做到的，都是需要聯系開發人員來進行操作的。

因此，亟待設計出一種web頁面的數據抽取、轉換和加載的方法，以便能更方便的操作ETL。

發明內容

本發明的第一目的在于提供一種web頁面的數據抽取、轉換和加載的方法，該方法通過從web頁面進行操作就可以進行數據抽取、轉換和加載，具有操作方便、通用性好的特點。

本發明的第二目的在于提供一種web頁面的數據抽取、轉換和加載的系統，該系統能夠有效對數據進行抽取、轉換和加載。本發明的第三目的是提供執行該預警識別系統的裝置。

本發明采用的第一技術方案如下：

一種web頁面的數據抽取、轉換和加載的方法，包括以下步驟：

(1)通過方案管理的新增方案，利用ETL引擎工具、抽取規則、來源數據、來源表、去向數據源、去向表、表字段對應和抽取類型，獲得抽取方案；

(2)調用后臺保存接口，接口通過代碼邏輯進行數據封裝，生成執行文件存儲在服務器路徑下，并將相關信息存入數據庫；

(3)通過任務管理的新增任務，并調用步驟(1)所獲得的抽取方案，通過定時抽取或手動抽取，獲得抽取任務，調用后臺接口將相關信息存入數據庫；

(4)系統定時自動啟動或者手動啟動步驟(3)所獲得的抽取任務，調用后臺接口，接口判斷方案類型讀取并執行步驟(2)所得的執行文件，進行數據抽取。

進一步的，在所述的步驟(1)中，ETL引擎工具包括DataX引擎和Kettle引擎兩種，抽取策略包括字典轉換、字段選擇、去重、去除無效字符和設置字段值。