[發明專利]一種基于大數據的數據治理方法和系統

有效

• 申請號: 202110252566.3
• 申請日: 2021-03-09
• 公開（公告）號: CN112632057B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 鄭瑋琨;盤思樂;梁麟
• 申請（專利權）人: 深圳信息職業技術學院
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 胡玉

本發明涉及一種基于大數據的數據治理方法和系統，所述方法包括：步驟S1：啟動數據節點發起數據治理，并確定數據治理范圍；步驟S2：在數據治理范圍的確定過程中確定控制節點；步驟S3：控制節點基于系統圖確定數據治理子圖；步驟S4：基于數據治理子圖作數據交換和共享；本發明能有效的減小內存和cpu的繁忙程度，大大提高了數據訪問效率；實現業務系統對應數據節點之間的數據交換和共享，實現數據治理的目標，提升數據的價值。能夠提供多層次有安全保障的數據治理，將集中式數據治理轉換成部分隨機分布式安全治理，通過局部數據交換和重定向實現高效的數據治理。

技術領域

本發明屬于大數據處理技術領域，尤其涉及一種基于大數據的數據治理方法和系統。

背景技術

數據是大數據工程的基礎和核心，其完整性、及時性以及質量是一切目標的保障條件。在大數據的支撐下經濟和技術的發展走向“智慧化”，通過整合各類數據信息對社會各個生產領域的運行狀況進行監測，實現安全生產管理工作的改進和優化。通過對大數據的數據信息的實時采集、數據存儲、數據分析和綜合查詢，使得各行各業能夠高效率的捕捉、發現和分析，能夠經濟地從類型繁雜、數量龐大的數據中挖掘出有價值的信息，從而為各行各業生產運行綜合管理、綜合調度、綜合協調、綜合指揮提供數據支撐。但是因為機構組織、業務系統、數據平臺的不同，很多數據組織呈現各自為陣、數據不共用、重復數據，信息互不相連、數據分布不均，數據平臺的利用情況不平衡；從數據平臺硬件角度看，也就是從數據內容透明的角度看，部分數據因為設備容量問題而更新速度過快，造成關鍵數據提前主動丟失，而有些數據則無條件保留。如何進行大數據的有效管理和有效提供，使得大數據的提供滿足用戶訪問請求的用戶體驗，是待解決的技術問題。本發明實現業務系統對應數據節點之間的數據交換和共享，實現數據治理的目標，提升數據的價值。能夠提供多層次有安全保障的數據治理，將集中式數據治理轉換成部分隨機分布式安全治理，通過局部數據交換和重定向實現高效的數據治理。

發明內容

為了解決現有技術中的上述問題，本發明提出了一種基于大數據的數據治理方法和系統，所述方法包含：

步驟S1：啟動數據節點發起數據治理，并確定數據治理范圍；

步驟S2：在數據治理范圍的確定過程中確定控制節點；

步驟S3：控制節點基于系統圖確定數據治理子圖；

步驟S4：基于數據治理子圖作數據交換和共享。

進一步的，所述啟動條件，具體為：當收到啟動觸發指令時，啟動條件滿足。

進一步的，為特定數據節點設置定時裝置，當定時時間點到達時，所述特定數據節點成為啟動數據節點。

進一步的，所述滿足啟動條件的啟動數據節點發起數據治理并得到數據治理范圍，具體為：啟動數據節點隨機選擇P個直接相連的數據節點，發起啟動指令給所述P個數據節點并將所述P個數據節點歸入當前數據治理范圍；所述P個數據節點中的每個數據節點重復隨機選擇P個直接相連的數據節點、發起啟動指令、歸入當前數據治理范圍的步驟，直到終止條件滿足；

在發起啟動指令之前，將接收到的啟動指令中上一級數據節點的歷史平均繁忙程度和當前數據節點的繁忙程度比較，將其中的繁忙程度較小者及其對應的數據節點標識包含在啟動指令中發出；

所述終止條件為：當前數據治理范圍中的數據節點數量達到預設數量；

當前數據節點在發出啟動指令前，請求將其選擇的P個數據節點加入數據治理范圍，如果加入所述P個數據節點后未超過數據治理范圍大小，則允許并將所述P個數據節點加入數據治理范圍；如果加入所述P個節點后超過數據治理范圍，則終止條件滿足，后續發出的加入數據范圍的請求將均被拒絕；數據治理范圍為參與本次數據治理的數據節點集合；數據治理范圍的大小為數據節點集合的大小。

進一步的，預設數量為1000。