日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]基于數據湖的異構數據源集成方法及裝置有效

專利信息
申請號: 202010809326.4 申請日: 2020-08-12
公開(公告)號: CN111966750B 公開(公告)日: 2022-01-25
發明(設計)人: 翟士丹 申請(專利權)人: 北京海致科技集團有限公司
主分類號: G06F16/27 分類號: G06F16/27;G06F16/25
代理公司: 北京棘龍知識產權代理有限公司 11740 代理人: 謝靜
地址: 100083 北京市海*** 國省代碼: 北京;11
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 基于 數據 數據源 集成 方法 裝置
【說明書】:

發明公開了基于數據湖的異構數據源集成方法及裝置,其方法包括如下步驟:a、根據用戶調用寫數據接口的信息,確定本次寫請求的操作標示、數據、時間戳,其中操作標示包含追加、更新、刪除三種類型,時間戳為寫請求達到的時間,將以上信息追加寫入到數據湖中的一個特定文件內;b、將上一步寫入到特定文件內的數據,結合操作標示及時間戳做數據合并處理,得到最終的結果數據。本發明解決了現有數據湖數據集成技術,無法支持數據更新操作,不能將數據湖的數據和原始數據保持一致,不能有效解決大數據集群大量小文件導致查詢性能低效等問題。

技術領域

本發明涉及信息技術數據集成技術領域,尤其涉及一種基于數據湖技術的異構數據源集成方法及系統。

背景技術

現階段,以Apache Hadoop為主的數據湖存儲方案中,均是將數據以新建或追加的方式保存到文件中,由于分布式存儲技術本身的限制,難以實現對已有數據的修改操作。例如將一個Excel表格數據上傳到數據湖中,如果用戶對Excel數據做了修改,希望數據湖中的數據和Excel的數據保持一致,只能將之前已上傳的Excel數據在數據湖中刪除掉,然后重新重新上傳該Excel,無法直接修改數據湖中已存在的數據。因此將異構數據源集成到數據湖中時,只能采用替換或追加的方式集成數據,當用戶對數據更新的時效性要求較高時,顯然不能很好的保證原始數據的一致性。

發明內容

為實現上述目的,本發明提供如下技術方案:

基于數據湖的異構數據源集成方法及裝置,其方法包括如下步驟:

a、根據用戶調用寫數據接口的信息,確定本次寫請求的操作標示、數據、時間戳,其中操作標示包含追加、更新、刪除三種類型,時間戳為寫請求達到的時間,將以上信息追加寫入到數據湖中的一個特定文件內;

b、將上一步寫入到特定文件內的數據,結合操作標示及時間戳做數據合并處理,得到最終的結果數據。

其裝置包括:異構數據同步裝置,用戶將不同數據源的原始數據,按照增量同步條件提取數據庫數據同步到數據湖;

數據湖數據合并裝置,用于將異構數據同步裝置同步過來的數據,按照操作標示及時間戳,將新寫入數據與歷史數據做合并,合并后得到最新的數據。

本發明解決了現有數據湖數據集成技術,無法支持數據更新操作,不能將數據湖的數據和原始數據保持一致,不能有效解決大數據集群大量小文件導致查詢性能低效等問題;另一方面,本發明提供的異構數據同步裝置,允許用戶以界面交互配置的方式設置不同數據源的數據同步,且支持增量同步,取代傳統代碼配置進行數據同步的方式,降低了用戶集成數據的門檻。

附圖說明

圖1為本發明的工作流程圖

圖2為本發明的用于數據合并操作的處理機制流程圖

圖3為本發明的用于異構數據源同步的系統示意圖

具體實施方式

下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。

圖1為本發明實施例提供的一種用于數據湖的異構數據源集成方法流程圖,如圖1所示,該方法包括:

S1、通過定義好的寫數據接口,將數據記錄按操作標示、數據內容及寫入時間戳記錄到一個特定的文件中。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京海致科技集團有限公司,未經北京海致科技集團有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202010809326.4/2.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 日韩精品中文字幕一区二区| 国产精品高潮呻吟视频| 国产精品一区二区在线观看| 国产精品久久久爽爽爽麻豆色哟哟 | 在线国产一区二区| 久久国产精品精品国产| 日日夜夜一区二区| 91免费视频国产| 午夜av男人的天堂| 国产区91| 亚洲日韩aⅴ在线视频| 国产97在线播放| 国产精品麻豆一区二区| 欧美一区二区三区久久久精品| 国产在线拍偷自揄拍视频 | 国产足控福利视频一区| 自拍偷在线精品自拍偷无码专区| 狠狠色噜噜狠狠狠狠视频| 99国产精品一区二区| 99热久久精品免费精品| 久久综合伊人77777麻豆| 综合欧美一区二区三区| 日韩亚洲精品在线| 国产日韩欧美在线一区| 九九热国产精品视频| 亚洲美女在线一区| 国产精彩视频一区二区| 91夜夜夜| 国产女性无套免费看网站 | 狠狠躁日日躁狂躁夜夜躁| 狠狠搞av| 午夜在线观看av| 欧美乱妇高清无乱码| 狠狠色狠狠色综合婷婷tag| 日韩av在线播放观看| 91精品国产综合久久国产大片| 国产精品一区一区三区| 国产一级精品在线观看| 国产精品99在线播放| 亚洲1区在线观看| 日韩av免费网站| 欧美freesex极品少妇| 欧美日韩一区视频| 亚洲精品国产91| 91福利视频免费观看| 久久久精品二区| 精品一区二区三区中文字幕| 日本中文字幕一区| 国产精品亚洲二区| 国产性生交xxxxx免费| 日本xxxxxxxxx68护士| 狠狠躁夜夜躁| 国产日韩欧美自拍| 亚洲第一天堂无码专区| 99精品少妇| 色综合久久精品| 国产午夜一级一片免费播放| 国产在线视频99| 国产免费一区二区三区四区五区| 欧美一区二区三区四区五区六区| 国产一卡二卡在线播放| 一区二区三区欧美视频| 欧美一区二区三区免费观看视频| 国产精品一区二| 91精品色| 精品美女一区二区三区| 四季av中文字幕一区| 一区二区三区中文字幕| 欧美日韩精品在线播放| 国产v亚洲v日韩v欧美v片| 香港三日三级少妇三级99| 欧美一区二区三区黄| 欧美一区二区激情三区| 美国三级日本三级久久99| 免费毛片**| 国产一区二区精品免费| 免费在线观看国产精品| bbbbb女女女女女bbbbb国产 | 亚洲欧美国产一区二区三区| 国产精品日本一区二区不卡视频| 国产馆一区二区| 羞羞视频网站免费| 日韩精品一区二区三区免费观看| 日本99精品| 91麻豆精品国产91久久久久推荐资源 | 亚洲少妇一区二区三区| 亚洲国产午夜片| 91精品啪在线观看国产| 亚洲神马久久| 国产一区二区视频免费在线观看| 精品国产一区二区三区免费| 精品国产一区二区三区久久久久久 | 91av一区二区三区| 日本高清二区| 午夜精品999| 午夜av在线电影| 国产精品国产三级国产播12软件| 日韩国产精品久久久久久亚洲| 精品国产乱码一区二区三区a| 亚洲国产精品国自产拍久久| 高清国产一区二区三区| 在线精品国产一区二区三区88| 伊人久久婷婷色综合98网| 国产视频一区二区在线| 久久伊人色综合| 综合久久一区二区三区| 少妇久久精品一区二区夜夜嗨| av毛片精品| 91一区在线观看| 日韩欧美激情| 国产一级二级在线| 996久久国产精品线观看| 国产区二区| 欧美69精品久久久久久不卡| 97久久精品人人做人人爽50路| 国产精品第56页| 亚洲国产精品麻豆| 午夜剧场a级片| 狠狠色丁香久久婷婷综合丁香| 精品一区欧美| 久久99精品国产麻豆婷婷洗澡 | 综合久久一区二区三区| 日韩精品中文字幕在线播放| 国产精品黑色丝袜的老师| 国产69精品久久久久999天美| 国产一区二区三区乱码| 国产日韩精品一区二区三区| 欧美日韩亚洲另类| 91精品高清| 国产一区二区影院| 亚洲一二三四区| 99国产午夜精品一区二区天美| 91麻豆精品国产91久久久更新资源速度超快| 国产精品视频一区二区三| 国产精品一区二| 午夜精品一区二区三区三上悠亚| 91精品国产影片一区二区三区| 19videosex性欧美69| 国产一区二区三级| 国产精品视频99| 性国产日韩欧美一区二区在线| 久久九九国产精品| 久久99精品久久久大学生| 欧美一区二区精品久久| 91精品一区在线观看| 亚洲欧美日韩一级| 日韩一级视频在线| 99久久精品国| freexxxx性| 一区二区三区国产欧美| 欧美hdfree性xxxx| 亚洲女人av久久天堂| 午夜影院5分钟| 一区二区三区精品国产| 国产乱码一区二区三区| 人人澡超碰碰97碰碰碰| 亚洲无人区码一码二码三码| 狠狠色丁香久久综合频道日韩| 一区二区三区欧美在线| 91精品国产综合久久国产大片 | 自拍偷在线精品自拍偷写真图片| www.日本一区| 国产高清在线精品一区二区三区| 精品国产一区二区三区麻豆免费观看完整版 | 国产精品高清一区| 制服丝袜二区| 国产午夜精品一区二区三区最新电影| 欧美片一区二区| 国产一区二区三区久久久| 久久五月精品| 天天射欧美| 女女百合互慰av| 亚洲国产精品区| 男女视频一区二区三区| 国产精品欧美一区二区三区奶水| 91亚洲精品国偷拍自产| 久久久久亚洲最大xxxx| 亚洲精品一区二区三区98年| 国产精品视频久久| 久久一区二区精品视频| 正在播放国产一区二区| 国产精品久久久久久久久久久久久久不卡 | 91精品丝袜国产高跟在线| 久草精品一区| 午夜影皖精品av在线播放| 国产精品美女www爽爽爽视频| 狠狠搞av| 国内自拍偷拍一区| 狠狠色丁香久久综合频道日韩| 少妇高清精品毛片在线视频| 国产精品一二三区视频网站| 国产日韩欧美视频| 丰满岳乱妇在线观看中字| 一区二区三区欧美视频| 亚洲精品久久久中文| 国产极品一区二区三区| 丰满少妇在线播放bd日韩电影| 国产精品视频一区二区三| 一区二区免费在线观看| 午夜特级片| 欧美精品第1页| 91久久国产视频| 欧美中文字幕一区二区| 午夜黄色大片| 国产麻豆91欧美一区二区| 久久国产精品99国产精| 久久国产精品免费视频| 欧美精品在线视频观看| 国产精品久久亚洲7777| 久久第一区| 国产日韩欧美综合在线| 国精偷拍一区二区三区| 91精品国产麻豆国产自产在线| 日本一二三不卡| 欧美日韩激情一区二区| 欧美精品免费一区二区| 国产日韩欧美一区二区在线观看| 国产69精品久久99不卡免费版| 欧美日韩国产在线一区| 护士xxxx18一19| 午夜剧场一区| 一区二区三区四区国产| 麻豆国产一区二区| 国产高清在线精品一区二区三区 | 午夜亚洲影院| 日韩av一二三四区| 亚洲视频精品一区| 国产在线一区不卡| 日韩久久影院| 国产91精品一区二区麻豆亚洲| 国产精品久久久久99| 日本三级香港三级网站| 91久久免费| 欧美一区二区三区四区五区六区 | 91在线一区| 欧美一区二区三区久久精品| 亚洲v欧美v另类v综合v日韩v| 欧美3级在线| 欧美日韩一区二区三区在线播放| 91黄色免费看| 欧美日韩亚洲国产一区| 亚洲国产精品91| 狠狠色丁香久久婷婷综| 国产一区观看| 国产精品一二二区| 日韩区欧美久久久无人区|