[發明專利]一種數據綜合接入系統及方法有效
申請號: | 202110367451.9 | 申請日: | 2021-04-06 |
公開(公告)號: | CN113111107B | 公開(公告)日: | 2023-10-13 |
發明(設計)人: | 王震;鐘凱;王勇;楊崗 | 申請(專利權)人: | 創意信息技術股份有限公司 |
主分類號: | G06F16/25 | 分類號: | G06F16/25;G06F16/27 |
代理公司: | 成都金英專利代理事務所(普通合伙) 51218 | 代理人: | 袁英 |
地址: | 610000 四川省成都*** | 國省代碼: | 四川;51 |
權利要求書: | 查看更多 | 說明書: | 查看更多 |
摘要: | |||
搜索關鍵詞: | 一種 數據 綜合 接入 系統 方法 | ||
本發明公開了一種數據綜合接入系統及方法,系統包括數據來源模塊、數據接入處理模塊、數據中心、文件中心和定制接入模塊;所述數據接入處理模塊分別連接數據來源模塊、數據中心和文件中心;所述數據來源模塊確定來源數據源,通過數據接入處理模塊對數據進行處理,實現數據從源到目標的數據處理過程,最后存儲至數據中心和文件中心;所述定制接入模塊用于實現定制數據的接入。本發明采用了設計器與執行器分離,數據獲取與數據入庫分離,并通過Kafka中間件的方式,實現數據庫到數據庫、文件到數據庫、文件到文件、接口到數據庫以及接口透傳,可滿足不同類型的數據之間的接入轉換過程,能最大限度地保障數據完整準確接入。
技術領域
本發明涉及大數據接入技術領域,尤其涉及一種數據綜合接入系統及方法。
背景技術
數據接入服務(Data Ingestion Service,簡稱DIS),在大數據平臺落地的過程中,數據接入是必不可少的一個關鍵環節。面對各種來源、各種類型的數據,需要通過數據接入將這些零散的數據整合在一起,納入統一的大數據平臺。從數據類型的角度,數據接入主要包括結構化數據(數據庫)的接入、日志數據的接入、IoT數據的接入和文件的接入。數據接入面臨的業務場景較多,數據來源的方式種類均未知;另外,數據接入時可能存在數據量反復變化的情況,因此,數據接入的穩定將會影響系統的性能。
如申請號為 CN201310738771.6的專利公開了一種通用的數據接入方法及裝置,該方法首先響應接收到的數據接入接口通過Web Service接口服務發送的接入請求,獲取監測設備提供的監測數據中與接入請求相對應的目的監測數據,然后通過調用WebService接口服務,分批發送目的監測數據,并將分批發送的各個部分目的監測數據寫入實時/歷史數據庫中,使得各個廠家的監測設備均可直接通過該方案提供的方法及裝置將監測數據接入實時/歷史數據庫,且在接入過程中通過使用Web Service接口服務,避免了需要直接調用實時/歷史數據庫底層API的問題。但是該方案未定義不同數據類型之間互相轉換的中間類型,不能最大限度地保障數據完整準確接入。
發明內容
本發明的目的在于克服現有技術的不足,提供一種數據綜合接入系統及方法。
本發明的目的是通過以下技術方案來實現的:
一種數據綜合接入系統,包括數據來源模塊、數據接入處理模塊、數據中心、文件中心和定制接入模塊;所述數據接入處理模塊分別連接數據來源模塊、數據中心和文件中心;所述數據來源模塊確定來源數據源,通過數據接入處理模塊對數據進行處理,實現數據從源到目標的數據處理過程,最后存儲至數據中心和文件中心;所述定制接入模塊用于實現定制數據的接入。
進一步的,所述來源數據源包括數據庫、文件和接口。
進一步的,所述數據來源模塊設有數據類型適配器,以滿足不同類型的數據之間的接入轉換,最大限度地保障數據完整準確地接入。
進一步的,所述數據接入處理模塊包括可視化Web-ETL單元、Kafka消息隊列單元、SFTP單元和FTP單元;所述可視化Web-ETL單元對數據來源模塊發送過來的來源數據庫和來源文件進行處理;所述Kafka消息隊列單元對來源數據庫和來源接口進行處理;所述SFTP單元和所述FTP單元對來源文件進行處理,并分別將來源文件存入文件中心和FTP服務器。
進一步的,所述可視化Web-ETL單元包括Web-ETL設計器和Web-ETL執行器,Web-ETL設計器通過Web-ETL節點的自定義拖拉拽,配置較為復雜的數據的接入過程,Web-ETL執行器根據Web-ETL設計器配置的結果對數據進行處理。
進一步的,所述Web-ETL設計器通過流程節點的方式設計,一條流程由多個流程節點組合而成,將每個流程節點對應到不同的組件,從而實現相應的節點功能。
進一步的,所述Web-ETL執行器根據Web-ETL設計器配置的流程環節,對數據進行清洗、轉換和篩選。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于創意信息技術股份有限公司,未經創意信息技術股份有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202110367451.9/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:一種水下焊接用機器視覺輔助成像裝置
- 下一篇:一種窗戶滑輪橡膠圈切割設備
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置