[發明專利]基于數據湖的大數據采集治理快速檢索系統

在審

• 申請號: 202010340728.4
• 申請日: 2020-04-26
• 公開（公告）號: CN111460236A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 李光;李延波;張建軍;俞光日;夏連杰;劉金棟;李延勇
• 申請（專利權）人: 天津七一二通信廣播股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/903
• 代理公司: 天津企興智財知識產權代理有限公司 12226
• 代理人: 馬倩倩

1.基于數據湖的大數據采集治理快速檢索系統，其特征在于，包括：

數據采集前端模塊，用于完成多源異構數據的采集，并將采集到的數據存儲在數據資源池中；

數據資源池模塊，包括分布式文件系統、非關系型數據庫、關系型數據庫，用于存儲數據采集前端模塊輸出的數據；

數據治理模塊，用于批量或實時治理存儲在數據資源池模塊中的數據，并將治理后的數據按照用戶的需求形成數據主題庫，并存儲在數據服務模塊的分布式分析型數據庫中；

數據服務模塊，包括分布式全文檢索數據庫、分布式分析型數據庫、分布式內存型數據庫三個部分；

數據業務模塊，用于為用戶提供數據業務服務；

數據關聯元數據提取模塊，用于完成多源異構數據的元數據提取，并將提取的信息存儲在數據服務模塊的分布式全文檢索數據庫中。

2.根據權利要求1所述的系統，其特征在于：所述數據關聯元數據提取模塊提取的元數據包括如下關鍵參數：數據的版本信息、類型、來源、采集時間、數據結構信息、存儲位置信息；

所述數據采集前端模塊和數據關聯元數據提取模塊分別實現數據儲存及元數據提取的步驟如下：

步驟A：多個數據采集前端模塊分別部署在不同的數據源前端，每個數據采集前端模塊采集一種數據來源的數據；

步驟B：采集到的數據通過采集前端模塊的數據版本信息檢測模塊監測出數據相關的版本信息；通過采集前端模塊的數據標簽處理模塊將數據進行打標簽，標簽信息包括：類型、來源、采集時間、數據結構信息、存儲位置；

步驟C：數據按照不同數據來源、不同數據類型分類存儲到數據資源池中的分布式文件系統、非關系型數據庫和關系型數據庫；

步驟D：數據存儲完后，同時數據關聯元數據提取模塊將數據存儲位置、數據版本信息、類型、來源、采集時間、數據結構信息、數據之間的關聯關系元數據信息存儲在分布式全文檢索數據庫中。

3.根據權利要求1所述的系統，其特征在于：所述數據服務模塊具備冷數據的自動清除功能，具體的實施步驟如下：

步驟A：數據業務模塊向數據服務模塊發送數據業務請求，其中數據服務模塊包括數據檢索服務模塊和數據分發服務模塊；

步驟B:數據服務模塊按照不同業務類型，將任務分發給不同的數據業務處理模塊進行處理；

步驟C：數據業務處理模塊完成數據相關業務處理后將處理結果反饋給數據業務模塊；

步驟D：數據業務處理模塊，記錄當前處理的數據，并更新分布式全文檢索數據庫中相應數據的數據更新時間為當前時間；

步驟E:數據服務模塊在啟動時，啟動定時檢查冷數據任務，該任務按照周期工作的方式定時檢測分布式全文檢索數據庫中的數據更新時間；

步驟F：定時檢查冷數據任務根據當前時間與數據更新時間的差值判斷數據是否為冷數據，其中判斷冷數據的時間差可配置；

步驟G：如果是冷數據，則根據數據存儲在分布式全文檢索數據庫中的數據關聯關系、存儲位置等信息檢索出數據，并刪除數據；如果不是冷數據則結束。

4.根據權利要求1所述的系統，其特征在于：所述分布式分析型數據庫中存儲的是用戶通過數據治理模塊完成數據清洗、數據治理、數據提取后的主題類數據。

5.根據權利要求1所述的系統，其特征在于：所述分布式內存型數據庫中存儲的是用戶高頻次、高速率需求的數據，

當用戶在進行高速計算類業務時，首先從分布式內存型數據庫中查找數據，當分布式內存型數據庫中有該類數據時，直接將數據反饋給用戶；當分布式內存型數據庫中不存儲數據時，數據服務模塊會自動從數據資源池模塊中檢索相關數據，并將檢索到的數據存儲在分布式內存型數據庫中，再反饋給用戶。

6.根據權利要求1所述的系統，其特征在于：所述數據業務模塊用于為用戶提供數據快速檢索、數據分析、數據計算、數據目錄、數據可視化、數據血緣關系的業務服務。