[發明專利]基于金融云端數據倉庫和數據湖的數據管理方法和系統

在審

• 申請號: 202111495550.1
• 申請日: 2021-12-08
• 公開（公告）號: CN114138768A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 孫立煒
• 申請（專利權）人: 興業銀行股份有限公司;興業數字金融服務(上海)股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/28;G06N20/00
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 施嘉薇

1.一種基于金融云端數據倉庫和數據湖的數據管理方法，其特征在于，包括：

步驟1：在引入新的數據源時，根據數據性質和數據價值，區分骨干數據和邊緣數據；

步驟2：對于骨干數據，按照數據模型建設思路，對原始數據進行表級分析、字段級分析，根據分析結果完成骨干數據的引入；

步驟3：對于邊緣數據，按照實時寬表引入，根據源數據格式建立目標寬表，編寫ETL腳本，完成腳本單元測試，從而完成邊緣數據引入。

2.根據權利要求1所述的基于金融云端數據倉庫和數據湖的數據管理方法，其特征在于，所述步驟2包括：

步驟2.1：根據表級分析、字段級分析的分析結果編寫Mapping，明確數據表或者字段的模型定位，并生成ETL腳本，完成腳本單元測試；

步驟2.2：在測試環境驗證腳本邏輯正確性、準確性，同時完成數據質量檢核，包括數據唯一性、數據關聯度、數據標準性；

步驟2.3：上線腳本，配置調度，完成骨干數據引入。

3.根據權利要求1所述的基于金融云端數據倉庫和數據湖的數據管理方法，其特征在于，所述步驟3包括：

步驟3.1：在測試環境驗證腳本邏輯正確性、準確性；

步驟3.2：上線腳本，配置調度，確定數據保留策略，完成邊緣數據引入；

步驟3.3：在引入邊緣數據時明確數據消費者，并進行數據生命周期管理。

4.根據權利要求1所述的基于金融云端數據倉庫和數據湖的數據管理方法，其特征在于，所述骨干數據包括賬戶、客戶、機構、賬務和渠道數據；將骨干數據按模型建設思路整合到數據倉庫，保證引入數據的集合度；

所述邊緣數據包括交易明細、流水信息和統計分析寬表；使用明細事實寬表的形式存放邊緣數據，同時維持邊緣數據和骨干數據的關聯度。

5.根據權利要求1所述的基于金融云端數據倉庫和數據湖的數據管理方法，其特征在于，通過人工識別的方式區分數據性質，或者通過機器學習的方式實現數據性質的自動化區分；

通過人工識別的方式識別數據價值，數據復用率越高的數據，數據價值越高。

6.一種基于金融云端數據倉庫和數據湖的數據管理系統，其特征在于，包括：

模塊M1：在引入新的數據源時，根據數據性質和數據價值，區分骨干數據和邊緣數據；

模塊M2：對于骨干數據，按照數據模型建設思路，對原始數據進行表級分析、字段級分析，根據分析結果完成骨干數據的引入；

模塊M3：對于邊緣數據，按照實時寬表引入，根據源數據格式建立目標寬表，編寫ETL腳本，完成腳本單元測試，從而完成邊緣數據引入。

7.根據權利要求6所述的基于金融云端數據倉庫和數據湖的數據管理系統，其特征在于，所述模塊M2包括：

模塊M2.1：根據表級分析、字段級分析的分析結果編寫Mapping，明確數據表或者字段的模型定位，并生成ETL腳本，完成腳本單元測試；

模塊M2.2：在測試環境驗證腳本邏輯正確性、準確性，同時完成數據質量檢核，包括數據唯一性、數據關聯度、數據標準性；

模塊M2.3：上線腳本，配置調度，完成骨干數據引入。

8.根據權利要求6所述的基于金融云端數據倉庫和數據湖的數據管理系統，其特征在于，所述模塊M3包括：

模塊M3.1：在測試環境驗證腳本邏輯正確性、準確性；

模塊M3.2：上線腳本，配置調度，確定數據保留策略，完成邊緣數據引入；

模塊M3.3：在引入邊緣數據時明確數據消費者，并進行數據生命周期管理。

9.根據權利要求6所述的基于金融云端數據倉庫和數據湖的數據管理系統，其特征在于，所述骨干數據包括賬戶、客戶、機構、賬務和渠道數據；將骨干數據按模型建設思路整合到數據倉庫，保證引入數據的集合度；

所述邊緣數據包括交易明細、流水信息和統計分析寬表；使用明細事實寬表的形式存放邊緣數據，同時維持邊緣數據和骨干數據的關聯度。

10.根據權利要求6所述的基于金融云端數據倉庫和數據湖的數據管理系統，其特征在于，通過人工識別的方式區分數據性質，或者通過機器學習的方式實現數據性質的自動化區分；

通過人工識別的方式識別數據價值，數據復用率越高的數據，數據價值越高。