[發明專利]一種基于大數據的數據治理方法及系統

在審

• 申請號: 202211623253.5
• 申請日: 2022-12-16
• 公開（公告）號: CN115905292A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 劉力銘;蘭海峰;劉漢胤
• 申請（專利權）人: 廣東東聯信創信息技術有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F8/71
• 代理公司: 廣東金穗知識產權代理事務所(普通合伙) 44852
• 代理人: 鐘文華

本發明公開了一種基于大數據的數據治理方法，包括：接收客戶端發送的響應用戶觸發的數據治理流程對應的數據治理請求；根據數據治理請求中的用戶標識獲取用戶對應的預先設置的數據治理配置界面和數據治理策略；通過客戶端顯示數據治理配置界面，并根據數據治理策略在所述數據治理配置界面上選擇對應的數據讀取組件、數據處理組件并進行連線處理以完成數據治理流程配置；所述客戶端向用戶提問是否以當前數據治理流程配置對待治理數據進行治理；當接收到客戶端發送的用戶同意按照當前數據治理流程配置對待治理的數據進行治理時，按照當前數據治理流程配置對待治理數據進行治理以完成數據治理。

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種基于大數據的數據治理方法及系統。

背景技術

數據是大數據工程的基礎和核心，其完整性、及時性以及質量是一切目標的保障條件。在大數據的支撐下經濟和技術的發展走向“智慧化”，通過整合各類數據信息對社會各個生產領域的運行狀況進行監測，實現安全生產管理工作的改進和優化。

通過對大數據的數據信息的實時采集、數據存儲、數據分析和綜合查詢，使得各行各業能夠高效率的捕捉、發現和分析，能夠經濟地從類型繁雜、數量龐大的數據中挖掘出有價值的信息，從而為各行各業生產運行綜合管理、綜合調度、綜合協調、綜合指揮提供數據支撐。但是因為機構組織、業務系統、數據平臺的不同，很多數據組織呈現各自為陣、數據不共用、重復數據，信息互不相連、數據分布不均，數據平臺的利用情況不平衡；從數據平臺硬件角度看，也就是從數據內容透明的角度看，部分數據因為設備容量問題而更新速度過快，造成關鍵數據提前主動丟失，而有些數據則無條件保留。

如何進行大數據的有效治理和有效提供，使得大數據的提供滿足用戶訪問請求的用戶體驗，是待解決的技術問題。

發明內容

本發明的目的在于提供一種基于大數據的數據治理方法及系統，其能夠有效解決現有技術中所存在的上述技術問題。

為了實現上述目的，本發明的一實施例提供了一種基于大數據的數據治理方法，包括步驟：

S1、接收客戶端發送的響應用戶觸發的數據治理流程對應的數據治理請求；其中，所述數據治理請求包括用戶標識和待治理數據；其中，所述數據治理流程包括數據讀取和數據處理；

S2、根據所述數據治理請求中的用戶標識獲取所述用戶對應的預先設置的數據治理配置界面和數據治理策略；

S3、通過所述客戶端顯示所述數據治理配置界面，并根據所述數據治理策略在所述數據治理配置界面上選擇對應的數據讀取組件、數據處理組件并進行連線處理以完成數據治理流程配置；其中，所述配置界面上顯示所述數據讀取組件和數據處理組件；所述數據處理組件包括多個，當所述數據處理組件的前面連線數據讀取組件或數據處理組件時所述數據處理組件作為目標節點，當所述數據處理組件的后面連線數據處理組件時所述數據處理組件作為源節點，不同的數據處理組件所需配置的參數不同，源節點的輸出結果可作為目標節點的輸入參數；

S4、通過所述客戶端向用戶提問是否以當前數據治理流程配置對待治理數據進行治理；

S5、當接收到所述客戶端發送的用戶同意按照當前數據治理流程配置對待治理的數據進行治理時，按照當前數據治理流程配置對待治理數據進行治理以完成數據治理；

S6、當接收到所述客戶端發送的用戶請求更新當前數據治理流程配置時，通過所述客戶端顯示更新界面以使用戶進行數據治理流程配置更新操作，并在接收到所述客戶端發送的數據治理流程配置更新操作完成時，按照更新后的數據治理流程配置對待治理的數據進行治理以完成數據治理；其中，所述數據治理流程配置更新操作包括數據讀取組件、數據處理組件的更換、參數及連線的更改；

S7、通過所述客戶端顯示數據治理完成后的結果。