[發明專利]基于數據湖的大數據采集治理快速檢索系統

在審

• 申請號: 202010340728.4
• 申請日: 2020-04-26
• 公開（公告）號: CN111460236A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 李光;李延波;張建軍;俞光日;夏連杰;劉金棟;李延勇
• 申請（專利權）人: 天津七一二通信廣播股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/903
• 代理公司: 天津企興智財知識產權代理有限公司 12226
• 代理人: 馬倩倩

本發明提供了一種基于數據湖的大數據采集治理快速檢索系統，包括數據采集前端模塊、數據關聯元數據提取模塊、數據資源池模塊、數據治理模塊、數據服務模塊和數據業務模塊；數據關聯元數據提取模塊用于完成多源異構數據的元數據提取，并將提取的信息存儲在數據服務模塊的分布式全文檢索數據庫中；所述數據服務模塊具備冷數據的自動清除功能。本發明提出的系統充分利用大數據技術、數據治理技術、不同類型數據庫的特性實現的基于數據湖的數據采集治理快速檢索系統，可以有效的避免數據資源碎片化、數據檢索效率低的問題，還有避免數據存儲資源龐大、存儲資源浪費的問題。

技術領域

本發明屬于大數據技術領域，尤其是涉及一種基于數據湖的大數據采集治理快速檢索系統。

背景技術

所謂的數據湖就是通過原始數據分類存儲到不同的數據池，然后在各個數據池中將數據整合轉化為容易分析的統一存儲格式進行存儲。這種方式極大的方便用戶對數據進行分析和利用，從而產生經濟效益。

數據湖實現的常用手段是利用Hadoop技術，數據湖把原始數據按照類別進行存儲，在各數據池中可將數據轉化為統一的可直接提取的格式，這種方式具有極大的商業價值，對大數據分析做出了極大貢獻。

但是，現有的數據湖架構也存在一些問題和挑戰，比如：數據來源不同造成數據碎片化、檢索效率低；還有數據湖中很多數據永遠不會刪除，所需要的存儲空間龐大，造成資源浪費等問題。

例如現有技術的中國專利：一種基于數據湖的數據治理方法及裝置，專利申請號:201910570011.6；一種面向全數據形態開放共享的數據湖系統，專利申請號:201810963494.1；工業數據湖系統，專利申請號:201910944246.7；上述三個專利只描述了一種基于數據湖思想的數據系統的實現方式，在專利中均未涉及如何避免數據存儲資源龐大、存儲資源浪費、數據資源碎片化、檢索效率低等問題。

發明內容

有鑒于此，本發明旨在提出一種基于數據湖的大數據采集治理快速檢索系統，基于Hadoop、快速檢索、分布式數據庫等技術實現的具備多源異構數據采集、治理、快速檢索系統，有效的避免了上述問題。

為達到上述目的，本發明的技術方案是這樣實現的：

基于數據湖的大數據采集治理快速檢索系統，其特征在于，包括：

數據采集前端模塊，用于完成多源異構數據的采集，并將采集到的數據存儲在數據資源池中；

數據資源池模塊，包括分布式文件系統、非關系型數據庫、關系型數據庫，用于存儲數據采集前端模塊輸出的數據；

數據治理模塊，用于批量或實時治理存儲在數據資源池模塊中的數據，并將治理后的數據按照用戶的需求形成數據主題庫，并存儲在數據服務模塊的分布式分析型數據庫中；

數據服務模塊，包括分布式全文檢索數據庫、分布式分析型數據庫、分布式內存型數據庫三個部分；

數據業務模塊，用于為用戶提供數據業務服務；

數據關聯元數據提取模塊，用于完成多源異構數據的元數據提取，并將提取的信息存儲在數據服務模塊的分布式全文檢索數據庫中。

進一步的，所述數據關聯元數據提取模塊提取的元數據包括如下關鍵參數：數據的版本信息、類型、來源、采集時間、數據結構信息、存儲位置信息；所述數據采集前端模塊和數據關聯元數據提取模塊分別實現數據儲存及元數據提取的步驟如下：

步驟A：多個數據采集前端模塊分別部署在不同的數據源前端，每個數據采集前端模塊采集一種數據來源的數據；

步驟B：采集到的數據通過采集前端模塊的數據版本信息檢測模塊監測出數據相關的版本信息；通過采集前端模塊的數據標簽處理模塊將數據進行打標簽，標簽信息包括：類型、來源、采集時間、數據結構信息、存儲位置；