[發明專利]基于數據湖的異構數據源集成方法及裝置

有效

• 申請號: 202010809326.4
• 申請日: 2020-08-12
• 公開（公告）號: CN111966750B
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 翟士丹
• 申請（專利權）人: 北京海致科技集團有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25
• 代理公司: 北京棘龍知識產權代理有限公司 11740
• 代理人: 謝靜

本發明公開了基于數據湖的異構數據源集成方法及裝置，其方法包括如下步驟：a、根據用戶調用寫數據接口的信息，確定本次寫請求的操作標示、數據、時間戳，其中操作標示包含追加、更新、刪除三種類型，時間戳為寫請求達到的時間，將以上信息追加寫入到數據湖中的一個特定文件內；b、將上一步寫入到特定文件內的數據，結合操作標示及時間戳做數據合并處理，得到最終的結果數據。本發明解決了現有數據湖數據集成技術，無法支持數據更新操作，不能將數據湖的數據和原始數據保持一致，不能有效解決大數據集群大量小文件導致查詢性能低效等問題。

技術領域

本發明涉及信息技術數據集成技術領域，尤其涉及一種基于數據湖技術的異構數據源集成方法及系統。

背景技術

現階段，以Apache Hadoop為主的數據湖存儲方案中，均是將數據以新建或追加的方式保存到文件中，由于分布式存儲技術本身的限制，難以實現對已有數據的修改操作。例如將一個Excel表格數據上傳到數據湖中，如果用戶對Excel數據做了修改，希望數據湖中的數據和Excel的數據保持一致，只能將之前已上傳的Excel數據在數據湖中刪除掉，然后重新重新上傳該Excel，無法直接修改數據湖中已存在的數據。因此將異構數據源集成到數據湖中時，只能采用替換或追加的方式集成數據，當用戶對數據更新的時效性要求較高時，顯然不能很好的保證原始數據的一致性。

發明內容

為實現上述目的，本發明提供如下技術方案：

基于數據湖的異構數據源集成方法及裝置，其方法包括如下步驟：

a、根據用戶調用寫數據接口的信息，確定本次寫請求的操作標示、數據、時間戳，其中操作標示包含追加、更新、刪除三種類型，時間戳為寫請求達到的時間，將以上信息追加寫入到數據湖中的一個特定文件內；

b、將上一步寫入到特定文件內的數據，結合操作標示及時間戳做數據合并處理，得到最終的結果數據。

其裝置包括：異構數據同步裝置，用戶將不同數據源的原始數據，按照增量同步條件提取數據庫數據同步到數據湖；

數據湖數據合并裝置，用于將異構數據同步裝置同步過來的數據，按照操作標示及時間戳，將新寫入數據與歷史數據做合并，合并后得到最新的數據。

本發明解決了現有數據湖數據集成技術，無法支持數據更新操作，不能將數據湖的數據和原始數據保持一致，不能有效解決大數據集群大量小文件導致查詢性能低效等問題；另一方面，本發明提供的異構數據同步裝置，允許用戶以界面交互配置的方式設置不同數據源的數據同步，且支持增量同步，取代傳統代碼配置進行數據同步的方式，降低了用戶集成數據的門檻。

附圖說明

圖1為本發明的工作流程圖

圖2為本發明的用于數據合并操作的處理機制流程圖

圖3為本發明的用于異構數據源同步的系統示意圖

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

圖1為本發明實施例提供的一種用于數據湖的異構數據源集成方法流程圖，如圖1所示，該方法包括：

S1、通過定義好的寫數據接口，將數據記錄按操作標示、數據內容及寫入時間戳記錄到一個特定的文件中。