[發明專利]基于金融云端數據倉庫和數據湖的數據管理方法和系統

在審

• 申請號: 202111495550.1
• 申請日: 2021-12-08
• 公開（公告）號: CN114138768A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 孫立煒
• 申請（專利權）人: 興業銀行股份有限公司;興業數字金融服務(上海)股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/28;G06N20/00
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 施嘉薇

本發明提供了一種基于金融云端數據倉庫和數據湖的數據管理方法和系統，包括：步驟1：在引入新的數據源時，根據數據性質和數據價值，區分骨干數據和邊緣數據；步驟2：對于骨干數據，按照數據模型建設思路，對原始數據進行表級分析、字段級分析，根據分析結果完成骨干數據的引入；步驟3：對于邊緣數據，按照實時寬表引入，根據源數據格式建立目標寬表，編寫ETL腳本，完成腳本單元測試，從而完成邊緣數據引入。本發明實現了一套數據倉庫結合數據湖的解決方案，數據倉庫根據先整理后存儲的原則，具有數據關聯性強、標準統一的特性；數據湖根據先存儲后使用的原則，更利于高效的數據分析、數據探索。

技術領域

本發明涉及數據管理技術領域，具體地，涉及一種基于金融云端數據倉庫和數據湖的數據管理方法和系統。

背景技術

金融云端的數據倉庫當前服務150多家合作行，基本處理的還是同質化的數據問題，這類問題傳統的倉庫模型可以很好的解決；但是不可避免也有個性化需求，此時運用傳統的倉庫模型處理思路，往往需要投入大量的研發成本；

數據湖的解決方案有點類似大型ODS，相對數據倉庫研發成本低、研發周期快，但是數據整合度低，數據質量和可信度都相對較低。

在實現金融云端數據倉庫一段時間之后，發現一些問題：(1)企業的數據生態如果處于穩定態，使用數據倉庫做數據解決方案會非常高效；但如果數據生態經常變化，使用數據倉庫將需要大量人力去運營模型；(2)使用數據倉庫一大作用是解決數據孤島問題，但是整個過程不太智能，需要投入足夠的人力；(3)運用數據倉庫傳統架構去實現一些數據深度挖掘、數據實時分析，非常別扭。因此，需引入數據湖的概念，輔以嚴格的數據生命周期管理，從而實現“短、平、快”的數據研發。

專利文獻CN113434497A(申請號：CN202110984703.2)公開了一種由數據倉庫與數據元件倉庫組成的數據要素金庫，由數據倉庫與數據元件倉庫組成的數據要素金庫包括：數據倉庫，用于存儲數據，所述數據不能輸出所述數據要素金庫；數據元件倉庫，用于存儲數據元件，所述數據元件包括元件模型以及元件結果，所述元件結果為所述數據通過所述元件模型處理后、用于輸出所述數據要素金庫的數據集。然而該專利仍需進行大量的數據處理，無法完美解決數據孤島問題。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于金融云端數據倉庫和數據湖的數據管理方法和系統。

根據本發明提供的基于金融云端數據倉庫和數據湖的數據管理方法，包括：

步驟1：在引入新的數據源時，根據數據性質和數據價值，區分骨干數據和邊緣數據；

步驟2：對于骨干數據，按照數據模型建設思路，對原始數據進行表級分析、字段級分析，根據分析結果完成骨干數據的引入；

步驟3：對于邊緣數據，按照實時寬表引入，根據源數據格式建立目標寬表，編寫ETL腳本，完成腳本單元測試，從而完成邊緣數據引入。

優選的，所述步驟2包括：

步驟2.1：根據表級分析、字段級分析的分析結果編寫Mapping，明確數據表或者字段的模型定位，并生成ETL腳本，完成腳本單元測試；

步驟2.2：在測試環境驗證腳本邏輯正確性、準確性，同時完成數據質量檢核，包括數據唯一性、數據關聯度、數據標準性；

步驟2.3：上線腳本，配置調度，完成骨干數據引入。

優選的，所述步驟3包括：

步驟3.1：在測試環境驗證腳本邏輯正確性、準確性；

步驟3.2：上線腳本，配置調度，確定數據保留策略，完成邊緣數據引入；

步驟3.3：在引入邊緣數據時明確數據消費者，并進行數據生命周期管理。