日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種數據綜合接入系統及方法有效

專利信息
申請號: 202110367451.9 申請日: 2021-04-06
公開(公告)號: CN113111107B 公開(公告)日: 2023-10-13
發明(設計)人: 王震;鐘凱;王勇;楊崗 申請(專利權)人: 創意信息技術股份有限公司
主分類號: G06F16/25 分類號: G06F16/25;G06F16/27
代理公司: 成都金英專利代理事務所(普通合伙) 51218 代理人: 袁英
地址: 610000 四川省成都*** 國省代碼: 四川;51
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 數據 綜合 接入 系統 方法
【說明書】:

本發明公開了一種數據綜合接入系統及方法,系統包括數據來源模塊、數據接入處理模塊、數據中心、文件中心和定制接入模塊;所述數據接入處理模塊分別連接數據來源模塊、數據中心和文件中心;所述數據來源模塊確定來源數據源,通過數據接入處理模塊對數據進行處理,實現數據從源到目標的數據處理過程,最后存儲至數據中心和文件中心;所述定制接入模塊用于實現定制數據的接入。本發明采用了設計器與執行器分離,數據獲取與數據入庫分離,并通過Kafka中間件的方式,實現數據庫到數據庫、文件到數據庫、文件到文件、接口到數據庫以及接口透傳,可滿足不同類型的數據之間的接入轉換過程,能最大限度地保障數據完整準確接入。

技術領域

本發明涉及大數據接入技術領域,尤其涉及一種數據綜合接入系統及方法。

背景技術

數據接入服務(Data Ingestion Service,簡稱DIS),在大數據平臺落地的過程中,數據接入是必不可少的一個關鍵環節。面對各種來源、各種類型的數據,需要通過數據接入將這些零散的數據整合在一起,納入統一的大數據平臺。從數據類型的角度,數據接入主要包括結構化數據(數據庫)的接入、日志數據的接入、IoT數據的接入和文件的接入。數據接入面臨的業務場景較多,數據來源的方式種類均未知;另外,數據接入時可能存在數據量反復變化的情況,因此,數據接入的穩定將會影響系統的性能。

如申請號為 CN201310738771.6的專利公開了一種通用的數據接入方法及裝置,該方法首先響應接收到的數據接入接口通過Web Service接口服務發送的接入請求,獲取監測設備提供的監測數據中與接入請求相對應的目的監測數據,然后通過調用WebService接口服務,分批發送目的監測數據,并將分批發送的各個部分目的監測數據寫入實時/歷史數據庫中,使得各個廠家的監測設備均可直接通過該方案提供的方法及裝置將監測數據接入實時/歷史數據庫,且在接入過程中通過使用Web Service接口服務,避免了需要直接調用實時/歷史數據庫底層API的問題。但是該方案未定義不同數據類型之間互相轉換的中間類型,不能最大限度地保障數據完整準確接入。

發明內容

本發明的目的在于克服現有技術的不足,提供一種數據綜合接入系統及方法。

本發明的目的是通過以下技術方案來實現的:

一種數據綜合接入系統,包括數據來源模塊、數據接入處理模塊、數據中心、文件中心和定制接入模塊;所述數據接入處理模塊分別連接數據來源模塊、數據中心和文件中心;所述數據來源模塊確定來源數據源,通過數據接入處理模塊對數據進行處理,實現數據從源到目標的數據處理過程,最后存儲至數據中心和文件中心;所述定制接入模塊用于實現定制數據的接入。

進一步的,所述來源數據源包括數據庫、文件和接口。

進一步的,所述數據來源模塊設有數據類型適配器,以滿足不同類型的數據之間的接入轉換,最大限度地保障數據完整準確地接入。

進一步的,所述數據接入處理模塊包括可視化Web-ETL單元、Kafka消息隊列單元、SFTP單元和FTP單元;所述可視化Web-ETL單元對數據來源模塊發送過來的來源數據庫和來源文件進行處理;所述Kafka消息隊列單元對來源數據庫和來源接口進行處理;所述SFTP單元和所述FTP單元對來源文件進行處理,并分別將來源文件存入文件中心和FTP服務器。

進一步的,所述可視化Web-ETL單元包括Web-ETL設計器和Web-ETL執行器,Web-ETL設計器通過Web-ETL節點的自定義拖拉拽,配置較為復雜的數據的接入過程,Web-ETL執行器根據Web-ETL設計器配置的結果對數據進行處理。

進一步的,所述Web-ETL設計器通過流程節點的方式設計,一條流程由多個流程節點組合而成,將每個流程節點對應到不同的組件,從而實現相應的節點功能。

進一步的,所述Web-ETL執行器根據Web-ETL設計器配置的流程環節,對數據進行清洗、轉換和篩選。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于創意信息技術股份有限公司,未經創意信息技術股份有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202110367451.9/2.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 免费的午夜毛片| 日本一区二区三区免费播放| 亚洲国产日韩综合久久精品| 国产一级片网站| 国产精品电影免费观看| 中文字幕av一区二区三区四区| 久久综合二区| 精品无人国产偷自产在线| 7777久久久国产精品| 国产欧美精品一区二区三区-老狼| 一区二区三区欧美精品| 国产在线卡一卡二| 国产亚洲精品久久网站| 欧美亚洲精品suv一区| 国产精品一区在线播放| 国产91九色视频| 国产一区二区三区小说 | 亚洲欧美国产精品一区二区| 久久综合伊人77777麻豆| 久久久久国产精品www| 色综合久久久| 中文字幕一区二区三区乱码| 亚洲精品一区,精品二区| 久久综合国产精品| 欧美一区二三区人人喊爽| 亚洲精品人| 久99精品| 国产午夜精品一区二区三区在线观看 | 午夜在线看片| 亚洲久色影视| 精品久久久久久中文字幕| 国产特级淫片免费看| 丰满岳乱妇在线观看中字| 欧美在线视频一二三区| 国产一级片一区二区| 国产原创一区二区| 精品国产一区二区三区免费 | 91国产在线看| 高清国产一区二区三区| 亚洲精品乱码久久久久久写真| 亚洲国产欧洲综合997久久,| 中文字幕在线播放一区| 97久久国产亚洲精品超碰热| 久久99久国产精品黄毛片入口 | 99久久免费精品视频| www.午夜av| 男女午夜影院| 日韩av在线影院| 亚洲国产精品97久久无色| 欧美日本一二三区| 96精品国产| 九一国产精品| 日韩国产欧美中文字幕| 精品国产一区二区三区四区四| 国产精品白浆视频| 91精品久久久久久久久久| 午夜少妇性影院免费观看| 窝窝午夜理伦免费影院| 26uuu色噜噜精品一区二区 | 欧美日韩一区二区三区四区五区六区| 欧美精品一级二级| 日本精品一区二区三区在线观看视频| 一区二区国产精品| 精品999久久久| 久久网站精品| 国产在线卡一卡二| 91看片免费| 国产午夜亚洲精品午夜鲁丝片| 国产婷婷一区二区三区久久| 欧美一级不卡| 免费看片一区二区三区| 日韩欧美视频一区二区| 国产精品免费一视频区二区三区| 狠狠色丁香久久综合频道日韩| 色婷婷精品久久二区二区蜜臂av| 亚洲欧美日韩一级| 午夜av电影院| 91精品视频在线观看免费| 免费xxxx18美国| 精品国产一区二区三区忘忧草| 特高潮videossexhd| 91精品国产高清一二三四区|