[發明專利]一種基于Web的ETL設計數據接入方法及數據接入模塊

在審

• 申請號: 202110367312.6
• 申請日: 2021-04-06
• 公開（公告）號: CN113111106A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 陸文斌;周正斌;徐孟宇;周陽
• 申請（專利權）人: 創意信息技術股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了一種基于Web的ETL設計數據接入方法及數據接入模塊，方法包括以下步驟：通過Flow類定義每條流程；將各個流程的每個流程環節用不同FlowLink類進行表示，形成組件；每一個FlowLink類中記錄了該組件所需要的參數信息、所屬組件和下一個組件的ID；在可視化界面通過將不同組件進行組合連接，形成一個鏈式的流程，以配置較為復雜的數據接入過程；參數信息采用Json字符串的方式進行存儲；所屬組件表示FlowLink類中進行數據處理的組件；下一個組件的ID用于將FlowLink串成一條完整的Flow。本發明可配置處理較為復雜的數據接入，適用于各種業務場景，實現大數據的分批讀取和復雜處理，以提高數據處理性能，最大限度地保障數據完整準確的接入。

技術領域

本發明涉及大數據接入領域，尤其涉及一種基于Web的ETL設計數據接入方法。

背景技術

數據接入服務（Data Ingestion Service，簡稱DIS），在大數據平臺落地的過程中，數據接入是必不可少的一個關鍵環節。面對各種來源、各種類型的數據，需要通過數據接入將這些零散的數據整合在一起，納入統一的大數據平臺。從數據類型的角度，數據接入主要包括結構化數據（數據庫）的接入、日志數據的接入、IoT數據的接入和文件的接入。數據接入面臨的業務場景較多，數據來源的方式種類均未知；另外，數據接入時可能存在數據量反復變化的情況，因此，數據接入的穩定將會影響系統的性能。

ETL(Extract Transform Load，數據倉庫技術)是數據抽取(Extract)、轉換(Transform)、裝載 (Load)的過程，其是構建數據倉庫的重要一環，用戶從數據源抽取出所需的數據，經過數據清洗轉換，最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。

在專利申請號為 CN201310738771.6的專利中公開了一種通用的數據接入方法及裝置，該方法首先響應接收到的數據接入接口通過Web Service接口服務發送的接入請求，獲取監測設備提供的監測數據中與接入請求相對應的目的監測數據，然后通過調用WebService接口服務，分批發送目的監測數據，并將分批發送的各個部分目的監測數據寫入實時/歷史數據庫中，使得各個廠家的監測設備均可直接通過該方案提供的方法及裝置將監測數據接入實時/歷史數據庫，且在接入過程中通過使用Web Service接口服務，避免了需要直接調用實時/歷史數據庫底層API的問題。但是該方案對復雜數據的接入效率不高，從而影響整個系統的性能。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于Web的ETL設計數據接入方法及數據接入模塊。

本發明的目的是通過以下技術方案來實現的：

一種基于Web的ETL設計數據接入方法，包括以下步驟：

通過Flow類定義每條流程；

將各個流程的每個流程環節用不同FlowLink類進行表示，形成組件；每一個FlowLink類中記錄了該組件所需要的參數信息、所屬組件和下一個組件的ID；

在可視化界面通過將不同組件進行組合連接，形成一個鏈式的流程，以配置較為復雜的數據接入過程。

進一步的，所述參數信息采用Json字符串的方式進行存儲。

進一步的，所述所屬組件表示FlowLink類中進行數據處理的組件。

進一步的，所述下一個組件的ID用于將FlowLink串成一條完整的Flow。

進一步的，所述每條流程包括一個輸入源節點、N個數據轉換節點和一個輸出源節點；所述輸入源節點用于實現數據的讀取；所述數據轉換節點用于實現數據內容的處理；所述輸出源節點用于數據的入庫保存。