[發明專利]一種基于大數據的數據治理方法及系統

在審

• 申請號: 202211623253.5
• 申請日: 2022-12-16
• 公開（公告）號: CN115905292A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 劉力銘;蘭海峰;劉漢胤
• 申請（專利權）人: 廣東東聯信創信息技術有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F8/71
• 代理公司: 廣東金穗知識產權代理事務所(普通合伙) 44852
• 代理人: 鐘文華

1.一種基于大數據的數據治理方法，其特征在于，包括步驟：

S1、接收客戶端發送的響應用戶觸發的數據治理流程對應的數據治理請求；其中，所述數據治理請求包括用戶標識和待治理數據；其中，所述數據治理流程包括數據讀取和數據處理；

S2、根據所述數據治理請求中的用戶標識獲取所述用戶對應的預先設置的數據治理配置界面和數據治理策略；

S3、通過所述客戶端顯示所述數據治理配置界面，并根據所述數據治理策略在所述數據治理配置界面上選擇對應的數據讀取組件、數據處理組件并進行連線處理以完成數據治理流程配置；其中，所述配置界面上顯示所述數據讀取組件和數據處理組件；所述數據處理組件包括多個，當所述數據處理組件的前面連線數據讀取組件或數據處理組件時所述數據處理組件作為目標節點，當所述數據處理組件的后面連線數據處理組件時所述數據處理組件作為源節點，不同的數據處理組件所需配置的參數不同，源節點的輸出結果可作為目標節點的輸入參數；

S4、通過所述客戶端向用戶提問是否以當前數據治理流程配置對待治理數據進行治理；

S5、當接收到所述客戶端發送的用戶同意按照當前數據治理流程配置對待治理的數據進行治理時，按照當前數據治理流程配置對待治理數據進行治理以完成數據治理；

S6、當接收到所述客戶端發送的用戶請求更新當前數據治理流程配置時，通過所述客戶端顯示更新界面以使用戶進行數據治理流程配置更新操作，并在接收到所述客戶端發送的數據治理流程配置更新操作完成時，按照更新后的數據治理流程配置對待治理的數據進行治理以完成數據治理；其中，所述數據治理流程配置更新操作包括數據讀取組件、數據處理組件的更換、參數及連線的更改；

S7、通過所述客戶端顯示數據治理完成后的結果。

2.根據權利要求1所述的基于大數據的數據治理方法，其特征在于，所述數據治理流程還包括數據發布，所述配置界面上還顯示與所述數據發布對應的數據發布組件；所述基于大數據的數據治理方法還包括步驟：

S8、接收客戶端發送的響應用戶觸發的數據治理結果發布請求，根據所述數據治理結果發布請求中用戶所選擇的數據發布組件將所述數據治理結果對應發布。

3.根據權利要求2所述的基于大數據的數據治理方法，其特征在于，在所述步驟S2中，當根據所述數據治理請求中的用戶標識獲取所述用戶對應的預先設置的數據治理策略存在多個時，通過所述客戶端顯示多個所述數據治理策略以供用戶進行選擇，并以用戶選擇的一個數據治理策略作為最后的數據治理策略。

4.根據權利要求2所述的基于大數據的數據治理方法，其特征在于，所述數據治理請求中還包括待治理數據的標簽；在所述步驟S2中，當根據所述數據治理請求中的用戶標識獲取所述用戶對應的預先設置的數據治理策略存在多個時，基于待治理數據的標簽從多個所述數據治理策略中選擇最匹配的作為最后的數據治理策略。

5.根據權利要求1所述的基于大數據的數據治理方法，其特征在于，所述數據治理請求中還包括數據清洗流程信息；所述數據處理組件包括數據清洗組件；所述基于大數據的數據治理方法還包括步驟：

對所述數據清洗流程文件進行解析，以提取數據清洗流程文件對應的工作流應用模型；

根據所多個工作流應用模型生成對應的數據清洗執行文件；

對待治理數據進行治理過程中，所述數據清洗組件根據所述數據清洗執行文件待治理數據進行清洗。

6.根據權利要求5所述的基于大數據的數據治理方法，其特征在于，所述根據所多個工作流應用模型生成對應的數據清洗執行文件具體包括：

分別獲取多個工作流應用模型對應的數據清洗代碼；所述數據清洗代碼是SQL語句、調用組件的清洗函數；

根據所述數據清洗流程文件中的順序對所述數據清洗代碼排序，形成數據清洗執行文件。