[發明專利]基于大數據的數據治理方法、裝置和計算機設備

在審

• 申請號: 202011202134.3
• 申請日: 2020-11-02
• 公開（公告）號: CN112181972A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 朱旭光;汪德嘉;楊博雅
• 申請（專利權）人: 北京通付盾人工智能技術有限公司;江蘇通付盾科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/2455;G06F16/248;G06F16/28;G06F16/27
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 黃麗霞

1.一種基于大數據的數據治理方法，其特征在于，所述方法包括：

從多個源系統中采集原始業務數據，將所述原始業務數據持久化到分布式文件系統中存儲；

對所述原始業務數據進行數據清洗以及分布式聚合計算，得到業務參考數據；

基于所述業務參考數據對接收到的業務請求進行處理，得到業務處理結果；

對所述業務處理結果進行可視化展示。

2.根據權利要求1所述的方法，其特征在于，所述從多個源系統中采集原始業務數據，包括：

采用標準協議接口或標準文件接口監聽所述多個源系統，若監聽到所述多個源系統中的任一源系統產生業務數據，則采集任一源系統的原始業務數據。

3.根據權利要求1所述的方法，其特征在于，所述將所述原始業務數據持久化到分布式文件系統中存儲，包括：

通過實時接口調用或者定時任務批量發送的方式將所述原始業務數據持久化到分布式文件系統中存儲。

4.根據權利要求1所述的方法，其特征在于，所述業務參考數據包括ODS數據、DWD數據以及DWS數據；所述對所述原始業務數據進行數據清洗以及分布式聚合計算，得到業務參考數據，包括：

對所述原始業務數據進行第一數據清洗處理，得到ODS數據，所述ODS數據為清洗后的統一格式的業務數據；

對所述ODS數據進行第二數據清洗處理，得到DWD數據，所述DWD數據的結構和粒度與所述ODS數據一致；

對所述DWD數據進行分布式聚合計算，得到粒度拆分和統一的DWS數據。

5.根據權利要求1所述的方法，其特征在于，所述基于所述業務參考數據對接收到的業務請求進行處理，得到業務處理結果，包括：

根據接收到的業務請求查詢所述業務參考數據，得到數據查詢結果；

采用與所述業務請求對應的業務處理方式對所述數據查詢結果進行業務處理，得到業務處理結果。

6.一種基于大數據的數據治理裝置，其特征在于，所述裝置包括：

數據采集模塊，用于從多個源系統中采集原始業務數據，將所述原始業務數據持久化到分布式文件系統中存儲；

數據處理模塊，用于對所述原始業務數據進行數據清洗以及分布式聚合計算，得到業務參考數據；

業務處理模塊，用于基于所述業務參考數據對接收到的業務請求進行處理，得到業務處理結果；

展示模塊，用于對所述業務處理結果進行可視化展示。

7.根據權利要求6所述的裝置，其特征在于，所述多個源系統之間通過應用程序接口的形式進行信息傳輸；所述數據采集模塊具體用于：

采用標準協議接口或標準文件接口監聽所述多個源系統，若監聽到所述多個源系統中的任一源系統產生業務數據，則采集任一源系統的原始業務數據；

通過實時接口調用或者定時任務批量發送的方式將所述原始業務數據持久化到分布式文件系統中存儲。

8.根據權利要求6所述的裝置，其特征在于，所述業務參考數據包括ODS數據、DWD數據以及DWS數據；所述數據處理模塊具體用于：

對所述原始業務數據進行第一數據清洗處理，得到ODS數據，所述ODS數據為清洗后的統一格式的業務數據；

對所述ODS數據進行第二數據清洗處理，得到DWD數據，所述DWD數據的結構和粒度與所述ODS數據一致；

對所述DWD數據進行分布式聚合計算，得到粒度拆分和統一的DWS數據。

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至5中任一項所述的方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至5中任一項所述的方法的步驟。