[發明專利]基于大數據的數據治理方法、裝置和計算機設備

在審

• 申請號: 202011202134.3
• 申請日: 2020-11-02
• 公開（公告）號: CN112181972A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 朱旭光;汪德嘉;楊博雅
• 申請（專利權）人: 北京通付盾人工智能技術有限公司;江蘇通付盾科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/2455;G06F16/248;G06F16/28;G06F16/27
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 黃麗霞

本申請涉及一種基于大數據的數據治理方法、裝置和計算機設備。其中方法通過從多個源系統中采集原始業務數據，將原始業務數據持久化到分布式文件系統中存儲，從而實現使用大數據技術HDFS對數據進行存儲，并對原始業務數據進行數據清洗以及分布式聚合計算，以提升計算性能并得到業務參考數據，基于業務參考數據對接收到的業務請求進行處理，得到業務處理結果，并對業務處理結果進行可視化展示，以實現使得不同的系統之間達成數據標準的大數據的數據治理。

技術領域

本申請涉及數據處理技術領域，特別是涉及一種基于大數據的數據治理方法、裝置和計算機設備。

背景技術

隨著互聯網技術的發展，越來越多的計算機系統、網絡、操作系統和應用程序一起工作并共享信息。然而長久以來，大多數的系統都是在某些業務需求的基礎上建立，而沒有從更大的全局考慮與其他系統的兼容，造成數據標準依據各異，業務口徑不統一，數據一致性和可用性的矛盾突出。

數據治理的目標是使得數據可以跨系統互換和執行，現有的數據治理技術方法大多考慮通過基于數據標準的方法或者元數據管理系統，采取“至頂向下”的方式實現，即需要參與互操作的多方系統首先對元數據達成一致，最終實現不同系統對數據共同的理解。傳統的數據治理方法隨著參與互操作系統的增加，數據也在不斷增加，從而難以在不同的系統之間達成數據標準。

發明內容

基于此，有必要針對上述傳統數據治理中難以在不同的系統之間達成數據標準的問題，提供一種基于大數據的數據治理方法、裝置和計算機設備。

一種基于大數據的數據治理方法，所述方法包括：

從多個源系統中采集原始業務數據，將所述原始業務數據持久化到分布式文件系統中存儲；

對所述原始業務數據進行數據清洗以及分布式聚合計算，得到業務參考數據；

基于所述業務參考數據對接收到的業務請求進行處理，得到業務處理結果；

對所述業務處理結果進行可視化展示。

在其中一個實施例中，所述從多個源系統中采集原始業務數據，包括：采用標準協議接口或標準文件接口監聽所述多個源系統，若監聽到所述多個源系統中的任一源系統產生業務數據，則采集任一源系統的原始業務數據。

在其中一個實施例中，所述將所述原始業務數據持久化到分布式文件系統中存儲，包括：通過實時接口調用或者定時任務批量發送的方式將所述原始業務數據持久化到分布式文件系統中存儲。

在其中一個實施例中，所述業務參考數據包括ODS數據、DWD數據以及DWS數據；所述對所述原始業務數據進行數據清洗以及分布式聚合計算，得到業務參考數據，包括：對所述原始業務數據進行第一數據清洗處理，得到ODS數據，所述ODS數據為清洗后的統一格式的業務數據；對所述ODS數據進行第二數據清洗處理，得到DWD數據，所述DWD數據的結構和粒度與所述ODS數據一致；對所述DWD數據進行分布式聚合計算，得到粒度拆分和統一的DWS數據。

在其中一個實施例中，所述基于所述業務參考數據對接收到的業務請求進行處理，得到業務處理結果，包括：根據接收到的業務請求查詢所述業務參考數據，得到數據查詢結果；采用與所述業務請求對應的業務處理方式對所述數據查詢結果進行業務處理，得到業務處理結果。

一種基于大數據的數據治理裝置，所述裝置包括：

數據采集模塊，用于從多個源系統中采集原始業務數據，將所述原始業務數據持久化到分布式文件系統中存儲；

數據處理模塊，用于對所述原始業務數據進行數據清洗以及分布式聚合計算，得到業務參考數據；

業務處理模塊，用于基于所述業務參考數據對接收到的業務請求進行處理，得到業務處理結果；